Како инсталирати Apache Kafka на Ubuntu 20.04
Увод
Apache Kafka је популарни систем за обраду података у реалном времену који је пронашао широку примену у разним индустријама. Омогућава предузећима да сакупљају, складиште и обрађују велике количине података са високим пропусношћу. Инсталирање Kafka на Ubuntu 20.04 је једноставан процес који се може извршити помоћу следећих корака.
Преглед садржаја
Како инсталирати Apache Kafka на Ubuntu 20.04
Корак 1: Ажурирајте систем
Пре инсталирања Apache Kafka важно је ажурирати системске пакете да бисте осигурали да имате најновије верзије свих зависности.
bash
sudo apt update
sudo apt upgrade
Корак 2: Инсталирајте Java
Apache Kafka захтева Java runtime окружење. Можете инсталирати OpenJDK, бесплатну имплементацију Java-е, следећом командом:
bash
sudo apt install openjdk-11-jdk
Корак 3: Инсталирајте Apache Kafka
Након што инсталирате Java, можете преузети и инсталирати Apache Kafka са званичне странице. Отворите веб претраживач и идите на страницу за преузимање Kafka: https://kafka.apache.org/downloads.
Пронађите најновију стабилну верзију Kafka и преузмите тар (tgz) архиву. У тренутку писања овог водича, најновија верзија је Kafka 3.2.1.
bash
wget https://dlcdn.apache.org/kafka/3.2.1/kafka_2.13-3.2.1.tgz
Извадите компримовану датотеку:
bash
tar -xvzf kafka_2.13-3.2.1.tgz
Преместите директоријум Kafka у одговарајућу локацију:
bash
sudo mv kafka_2.13-3.2.1 /opt/kafka
Уредите путању:
За даљу употребу треба да додате директоријум Kafka у променљиву путање у датотеци .bash_profile
. Отворите датотеку помоћу уредника текста:
bash
nano ~/.bash_profile
Додајте следећу линију испод последње линије:
bash
export PATH=$PATH:/opt/kafka/bin
Сачувајте и затворите датотеку. Активирајте промене учитавањем нове променљиве окружења:
bash
. ~/.bash_profile
Корак 4: Подесите ZooKeeper
Apache Kafka користи ZooKeeper за координацију кластера. Морате да поставите ZooKeeper да би Kafka правилно функционисао.
Инсталирајте ZooKeeper:
bash
sudo apt install zookeeperd
Покрените ZooKeeper:
bash
sudo systemctl start zookeeperd
Корак 5: Инсталирајте Kafka
Сада можете инсталирати Kafka.
Покрените сервер Kafka:
bash
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
Покрените произвођача Kafka:
bash
/opt/kafka/bin/kafka-console-producer.sh --topic my-topic --message "Hello Kafka!"
Покрените потрошача Kafka:
bash
/opt/kafka/bin/kafka-console-consumer.sh --topic my-topic --from-beginning
Ако видите поруку „Hello Kafka!“, инсталација је успешна.
Конфигурације
Конфигурација сервера Kafka
Датотека /opt/kafka/config/server.properties
се користи за конфигурисање сервера Kafka. Неке уобичајене поставке укључују:
– broker.id: Идентификатор брокера Kafka (мора бити јединствен у кластеру)
– listeners: Порт и протокол који ће сервер слушати
– log.dirs: Директоријум у коме ће се чувати подаци
– num.partitions: Број партиција за сваку тему
Конфигурација произвођача Kafka
Датотека /opt/kafka/config/producer.properties
се користи за конфигурисање произвођача Kafka. Неке уобичајене поставке укључују:
– bootstrap.servers: Листа сервера Kafka на које ће се произвођач повезивати
– topic: Тема на коју ће произвођач слати поруке
– acks: Колико ацкновалеџемена треба добити од брокера пре него што се порука сматра успешно послатом
– linger.ms: Период чекања пре слања следеће серије порука
Конфигурација потрошача Kafka
Датотека /opt/kafka/config/consumer.properties
се користи за конфигурисање потрошача Kafka. Неке уобичајене поставке укључују:
– bootstrap.servers: Листа сервера Kafka на које ће се потрошач повезивати
– topic: Тема са које ће потрошач примати поруке
– group.id: Идентификатор групе потрошача (потребан је за праћење унутар-партицијских офсета)
– auto.offset.reset: Одређује шта ће се десити ако потрошач нема офсет за тему
Напомена: Можете да уредите ове датотеке да бисте прилагодили поставке у складу са вашим захтевима.
Закључак
Инсталирање Apache Kafka на Ubuntu 20.04 је релативно једноставан процес који се може извршити помоћу корака наведених у овом водичу. Након што инсталирате и конфигуришете Kafka, можете почети да сакупљате, обрађујете и складиштите велике количине података у реалном времену. Kafka је моћно средство које може знатно побољшати управљање подацима и аналитику у вашем предузећу.
Често постављана питања (FAQ)
1. Које су системске захтеве за инсталирање Kafka-е на Ubuntu 20.04?
Kafka захтева минимум 1GB RAM меморије и 1GB простора на диску.
2. Која је разлика између произвођача и потрошача Kafka-е?
Произвођач је компонент који шаље поруке на тему Kafka-е, док потрошач прима и обрађује поруке са теме.
3. Како могу прегледати теме у Kafka кластеру?
Можете користити команду /opt/kafka/bin/kafka-topics.sh --list
да бисте навели све теме у кластеру.
4. Како могу променити број партиција за тему?
Можете користити команду /opt/kafka/bin/kafka-topics.sh --alter --partitions <нови број партиција> <назив теме>
да бисте променили број партиција.
5. Како могу надгледати рад Kafka кластера?
Можете користити Kafka Manager, веб-интерфејс који омогућава управљање и надгледање Kafka кластера.
6. Како могу кластеризовати Kafka?
Можете користирати Apache ZooKeeper да бисте обезбедили координацију и конфигурацију кластера Kafka.
7. Могу ли да инсталирам Kafka без Java-е?
Не, Java је неопходан за рад kafka.
8. Који су неки од начина коришћења Kafka-е?
Kafka се може користити за обраду података у реалном времену, управљање токовима података и изградњу апликација које зависе од података.
Додатне ресурсе:
– Apache Kafka документација
– [Водич за инсталацију Apache Kafka на Ubuntu](https://www.digitalocean.com/community/