Apatche Kafka je platforma za strimovanje poruka koja omogućava različitim aplikacijama unutar distribuiranog sistema da komuniciraju i razmenjuju podatke putem poruka.
Funkcioniše po principu izdavač/pretplatnik (pub/sub), gde aplikacije proizvođači objavljuju poruke, a sistemi potrošači se pretplaćuju na te poruke.
Apatche Kafka omogućava usvajanje labavo povezane arhitekture između komponenti sistema koje generišu i konzumiraju podatke. To pojednostavljuje dizajn i upravljanje sistemom. Kafka se oslanja na Zookeeper za upravljanje metapodacima i sinhronizaciju različitih delova klastera.
Karakteristike Apache Kafke
Apatche Kafka je stekla popularnost, između ostalog, zahvaljujući svojim karakteristikama:
- Skalabilnost kroz klastere i particije
- Visoka brzina, sposobna za obradu 2 miliona zapisa u sekundi
- Održava redosled poruka
- Pouzdanost zahvaljujući sistemu replikacije
- Mogućnost nadogradnje bez prekida rada
Sada, istražimo neke od uobičajenih načina upotrebe Kafke.
Uobičajeni primeri upotrebe Apache Kafke
Kafka se često koristi u obradi velikih količina podataka, evidentiranju i agregiranju događaja, kao što su klikovi na dugme za analitiku, i centralizaciji logova iz različitih delova sistema.
Pomaže u omogućavanju komunikacije između različitih aplikacija unutar sistema i obradi podataka sa IoT uređaja u realnom vremenu.
Sada, pogledajmo detaljne korake za instalaciju Kafke na Windows i Linux.
Instalacija Kafke na Windows
Prvo, proverite da li je Java instalirana na vašem računaru pre nego što instalirate Apache Kafku na Windows. Otvorite komandnu liniju kao administrator i unesite sledeću komandu:
java --version
Ako je Java instalirana, trebali biste dobiti broj verzije JDK-a koji je trenutno instaliran.
Ukoliko dobijete poruku o grešci koja navodi da komanda nije prepoznata, Java nije instalirana i morate je instalirati. Da biste instalirali Javu, posetite veb sajt Adoptium.net i kliknite na dugme za preuzimanje.
Ovo bi trebalo da preuzme instalacionu datoteku Jave. Kada se preuzimanje završi, pokrenite instalater. Ovo bi trebalo da otvori prozor za instalaciju.
Pritisnite „Next“ nekoliko puta da biste izabrali podrazumevane opcije. Nakon toga, instalacija bi trebalo da počne. Proverite instalaciju tako što ćete zatvoriti komandnu liniju, ponovo je otvoriti kao administrator i uneti komandu:
java --version
Sada bi trebalo da dobijete verziju JDK-a koju ste upravo instalirali. Kada je instalacija završena, možemo početi sa instalacijom Kafke.
Da biste instalirali Kafku, prvo posetite zvanični veb sajt Kafke.
Kliknite na link i treba da vas odvede na stranicu za preuzimanje. Preuzmite najnovije dostupne binarne datoteke.
Ovim ćete preuzeti Kafka skripte i binarne datoteke upakovane u .tgz datoteku. Nakon preuzimanja, morate ekstrahovati datoteke iz .tgz arhive. Za ekstrakciju ću koristiti WinZip, koji se može preuzeti sa veb sajta WinZip.
Nakon raspakivanja datoteke, prebacite je u C: tako da putanja datoteke postane C:\kafka
Zatim otvorite komandnu liniju kao administrator i pokrenite Zookeeper tako što ćete prvo otići do Kafka direktorijuma. I pokretanjem datoteke zookeeper-server-start.bat sa zookeeper.properties kao konfiguracionom datotekom
cd C:\kafka bin\windows\zookeeper-server-start.bat config\zookeeper.properties
Kada je Zookeeper pokrenut, moramo dodati wmic izvršnu datoteku koju Kafka koristi u našem sistemskom PATH-u,
set PATH=C:\Windows\System32\wbem;%PATH%;
Nakon toga, pokrenite Apache Kafka server tako što ćete otvoriti još jednu komandnu liniju kao administrator i otići do direktorijuma C:\kafka
cd C:\kafka
Zatim pokrenite Kafku pomoću sledeće komande:
bin\windows\kafka-server-start.bat config\server.properties
Sada bi Kafka trebalo da radi. Možete prilagoditi svojstva servera, kao što je lokacija gde su logovi sačuvani, u datoteci server.properties.
Instalacija Kafke na Linux
Prvo, proverite da li je vaš sistem ažuriran tako što ćete ažurirati sve pakete:
sudo apt update && sudo apt upgrade
Zatim proverite da li je Java instalirana na vašem sistemu tako što ćete pokrenuti:
java --version
Ako je Java instalirana, videćete broj verzije. Međutim, ako nije, možete je instalirati pomoću apt-a:
sudo apt install default-jdk
Nakon ovoga, možemo instalirati Apache Kafku preuzimanjem binarnih datoteka sa veb sajta.
Otvorite terminal i idite do foldera u kojem je preuzimanje sačuvano. U mom slučaju, moram da idem do foldera Preuzimanja.
cd Downloads
Kada ste u folderu za preuzimanje, izvucite preuzete datoteke koristeći tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Idite do ekstrahovanog foldera:
cd kafka_2.13-3.3.1
Izlistajte direktorijume i datoteke.
Kada ste unutar foldera, pokrenite Zookeeper server tako što ćete pokrenuti skriptu zookeeper-server-start.sh koja se nalazi u direktorijumu bin ekstrahovanog foldera.
Skripta će zahtevati konfiguracionu datoteku Zookepera. Podrazumevana datoteka se zove zookeeper.properties i nalazi se u poddirektorijumu config.
Dakle, da biste pokrenuli server, koristite komandu:
bin/zookeeper-server-start.sh config/zookeeper.properties
Kada je Zookeeper pokrenut, možemo pokrenuti Apache Kafka server. Skripta kafka-server-start.sh se takođe nalazi u direktorijumu bin. Komanda takođe očekuje konfiguracionu datoteku. Podrazumevana je server.properties smeštena u direktorijumu config.
bin/kafka-server-start.sh config/server.properties
Ovo bi trebalo da pokrene Apache Kafku. Unutar bin direktorijuma, naći ćete brojne skripte za obavljanje stvari kao što su kreiranje tema, upravljanje proizvođačima i upravljanje potrošačima. Takođe možete prilagoditi svojstva servera u datoteci server.properties.
Završne reči
U ovom vodiču smo prošli kroz postupak instalacije Jave i Apache Kafke. Iako možete ručno da instalirate i upravljate Kafka klasterima, možete koristiti i upravljane opcije kao što su Amazon Web Services i Confluent.
Zatim možete naučiti obradu podataka pomoću Kafke i Sparka.