Uvod
Apache Kafka predstavlja široko korišćen sistem za obradu podataka u stvarnom vremenu, primenljiv u raznim oblastima. On omogućava organizacijama da sakupljaju, skladište i obrađuju velike količine informacija uz visok protok. Instalacija Kafka-e na Ubuntu 20.04 je jednostavan proces koji se može obaviti prateći sledeće korake.
Korak 1: Ažuriranje sistema
Pre same instalacije Apache Kafka-e, ključno je da ažurirate sistemske pakete kako biste obezbedili najnovije verzije svih neophodnih zavisnosti.
sudo apt update
sudo apt upgrade
Korak 2: Instalacija Java-e
Apache Kafka zahteva Java runtime okruženje. Možete instalirati OpenJDK, besplatnu implementaciju Java-e, koristeći sledeću komandu:
sudo apt install openjdk-11-jdk
Korak 3: Instalacija Apache Kafka-e
Nakon instalacije Java-e, možete preuzeti i instalirati Apache Kafka sa zvanične veb stranice. Otvorite veb pregledač i posetite stranicu za preuzimanje Kafka-e: https://kafka.apache.org/downloads.
Pronađite najnoviju stabilnu verziju Kafka-e i preuzmite tar (tgz) arhivu. U trenutku sastavljanja ovog uputstva, najnovija verzija je Kafka 3.2.1.
wget https://dlcdn.apache.org/kafka/3.2.1/kafka_2.13-3.2.1.tgz
Raspakivanje komprimovane datoteke:
tar -xvzf kafka_2.13-3.2.1.tgz
Premeštanje Kafka direktorijuma na odgovarajuću lokaciju:
sudo mv kafka_2.13-3.2.1 /opt/kafka
Izmena putanje:
Za buduću upotrebu, potrebno je dodati Kafka direktorijum u promenljivu putanje u datoteci .bash_profile. Otvorite datoteku koristeći tekst editor:
nano ~/.bash_profile
Dodajte sledeću liniju ispod poslednje linije:
export PATH=$PATH:/opt/kafka/bin
Sačuvajte i zatvorite datoteku. Aktivirajte izmene učitavanjem nove promenljive okruženja:
. ~/.bash_profile
Korak 4: Podešavanje ZooKeeper-a
Apache Kafka koristi ZooKeeper za koordinaciju klastera. Neophodno je podesiti ZooKeeper kako bi Kafka ispravno funkcionisala.
Instalacija ZooKeeper-a:
sudo apt install zookeeperd
Pokretanje ZooKeeper-a:
sudo systemctl start zookeeperd
Korak 5: Instalacija Kafka-e
Sada možete instalirati Kafka-u.
Pokretanje Kafka servera:
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
Pokretanje Kafka producenta:
/opt/kafka/bin/kafka-console-producer.sh --topic my-topic --message "Hello Kafka!"
Pokretanje Kafka potrošača:
/opt/kafka/bin/kafka-console-consumer.sh --topic my-topic --from-beginning
Ako vidite poruku „Hello Kafka!“, instalacija je uspešno završena.
Konfiguracije
Konfiguracija Kafka servera
Datoteka /opt/kafka/config/server.properties se koristi za konfigurisanje Kafka servera. Neke od najvažnijih postavki uključuju:
– broker.id: Identifikator Kafka brokera (mora biti jedinstven u klasteru)
– listeners: Port i protokol koje će server koristiti
– log.dirs: Direktorijum za čuvanje podataka
– num.partitions: Broj particija za svaku temu
Konfiguracija Kafka producenta
Datoteka /opt/kafka/config/producer.properties se koristi za konfigurisanje Kafka producenta. Neke od najvažnijih postavki su:
– bootstrap.servers: Lista Kafka servera na koje se producent povezuje
– topic: Tema na koju producent šalje poruke
– acks: Broj potvrda koje treba primiti od brokera pre nego što se poruka smatra uspešno poslatom
– linger.ms: Vremenski period čekanja pre slanja sledeće serije poruka
Konfiguracija Kafka potrošača
Datoteka /opt/kafka/config/consumer.properties se koristi za konfigurisanje Kafka potrošača. Neke od najvažnijih postavki uključuju:
– bootstrap.servers: Lista Kafka servera na koje se potrošač povezuje
– topic: Tema sa koje potrošač prima poruke
– group.id: Identifikator grupe potrošača (potreban za praćenje ofseta unutar particija)
– auto.offset.reset: Definiše šta se dešava ako potrošač nema ofset za temu
Napomena: Možete izmeniti ove datoteke kako biste prilagodili postavke prema vašim potrebama.
Zaključak
Instaliranje Apache Kafka na Ubuntu 20.04 je relativno jednostavan proces koji se može obaviti prateći korake navedene u ovom vodiču. Nakon što instalirate i konfigurišete Kafka-u, možete započeti sa prikupljanjem, obradom i skladištenjem velikih količina podataka u realnom vremenu. Kafka je moćan alat koji može značajno unaprediti upravljanje podacima i analitiku u vašem poslovanju.
Često postavljana pitanja (FAQ)
1. Koji su sistemski zahtevi za instalaciju Kafka-e na Ubuntu 20.04?
Kafka zahteva minimum 1GB RAM memorije i 1GB prostora na disku.
2. Koja je razlika između producenta i potrošača Kafka-e?
Producent je komponenta koja šalje poruke na Kafka temu, dok potrošač prima i obrađuje poruke sa teme.
3. Kako mogu pregledati teme u Kafka klasteru?
Možete koristiti komandu /opt/kafka/bin/kafka-topics.sh --list da biste prikazali sve teme u klasteru.
4. Kako mogu promeniti broj particija za temu?
Možete koristiti komandu /opt/kafka/bin/kafka-topics.sh --alter --partitions <novi broj particija> <naziv teme> da biste promenili broj particija.
5. Kako mogu nadgledati rad Kafka klastera?
Možete koristiti Kafka Manager, veb interfejs koji omogućava upravljanje i nadgledanje Kafka klastera.
6. Kako mogu klasterizovati Kafka?
Možete koristiti Apache ZooKeeper kako biste obezbedili koordinaciju i konfiguraciju Kafka klastera.
7. Mogu li instalirati Kafka bez Java-e?
Ne, Java je neophodna za rad Kafka-e.
8. Koji su neki od načina korišćenja Kafka-e?
Kafka se može koristiti za obradu podataka u realnom vremenu, upravljanje tokovima podataka i razvoj aplikacija koje su zasnovane na podacima.
Dodatni resursi:
– Apache Kafka dokumentacija
– Vodič za instalaciju Apache Kafka na Ubuntu