Како инсталирати Apache Kafka на Ubuntu 20.04

Како инсталирати Apache Kafka на Ubuntu 20.04

Увод

Apache Kafka је популарни систем за обраду података у реалном времену који је пронашао широку примену у разним индустријама. Омогућава предузећима да сакупљају, складиште и обрађују велике количине података са високим пропусношћу. Инсталирање Kafka на Ubuntu 20.04 је једноставан процес који се може извршити помоћу следећих корака.

Како инсталирати Apache Kafka на Ubuntu 20.04

Корак 1: Ажурирајте систем

Пре инсталирања Apache Kafka важно је ажурирати системске пакете да бисте осигурали да имате најновије верзије свих зависности.

bash
sudo apt update
sudo apt upgrade

Корак 2: Инсталирајте Java

Apache Kafka захтева Java runtime окружење. Можете инсталирати OpenJDK, бесплатну имплементацију Java-е, следећом командом:

bash
sudo apt install openjdk-11-jdk

Корак 3: Инсталирајте Apache Kafka

Након што инсталирате Java, можете преузети и инсталирати Apache Kafka са званичне странице. Отворите веб претраживач и идите на страницу за преузимање Kafka: https://kafka.apache.org/downloads.

Пронађите најновију стабилну верзију Kafka и преузмите тар (tgz) архиву. У тренутку писања овог водича, најновија верзија је Kafka 3.2.1.

bash
wget https://dlcdn.apache.org/kafka/3.2.1/kafka_2.13-3.2.1.tgz

Извадите компримовану датотеку:

bash
tar -xvzf kafka_2.13-3.2.1.tgz

Преместите директоријум Kafka у одговарајућу локацију:

bash
sudo mv kafka_2.13-3.2.1 /opt/kafka

Уредите путању:

За даљу употребу треба да додате директоријум Kafka у променљиву путање у датотеци .bash_profile. Отворите датотеку помоћу уредника текста:

bash
nano ~/.bash_profile

Додајте следећу линију испод последње линије:

bash
export PATH=$PATH:/opt/kafka/bin

Сачувајте и затворите датотеку. Активирајте промене учитавањем нове променљиве окружења:

bash
. ~/.bash_profile

Корак 4: Подесите ZooKeeper

Apache Kafka користи ZooKeeper за координацију кластера. Морате да поставите ZooKeeper да би Kafka правилно функционисао.

Инсталирајте ZooKeeper:

bash
sudo apt install zookeeperd

Покрените ZooKeeper:

bash
sudo systemctl start zookeeperd

Корак 5: Инсталирајте Kafka

Сада можете инсталирати Kafka.

Покрените сервер Kafka:

bash
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

Покрените произвођача Kafka:

bash
/opt/kafka/bin/kafka-console-producer.sh --topic my-topic --message "Hello Kafka!"

Покрените потрошача Kafka:

bash
/opt/kafka/bin/kafka-console-consumer.sh --topic my-topic --from-beginning

Ако видите поруку „Hello Kafka!“, инсталација је успешна.

Конфигурације

Конфигурација сервера Kafka

Датотека /opt/kafka/config/server.properties се користи за конфигурисање сервера Kafka. Неке уобичајене поставке укључују:

broker.id: Идентификатор брокера Kafka (мора бити јединствен у кластеру)
listeners: Порт и протокол који ће сервер слушати
log.dirs: Директоријум у коме ће се чувати подаци
num.partitions: Број партиција за сваку тему

Конфигурација произвођача Kafka

Датотека /opt/kafka/config/producer.properties се користи за конфигурисање произвођача Kafka. Неке уобичајене поставке укључују:

bootstrap.servers: Листа сервера Kafka на које ће се произвођач повезивати
topic: Тема на коју ће произвођач слати поруке
acks: Колико ацкновалеџемена треба добити од брокера пре него што се порука сматра успешно послатом
linger.ms: Период чекања пре слања следеће серије порука

Конфигурација потрошача Kafka

Датотека /opt/kafka/config/consumer.properties се користи за конфигурисање потрошача Kafka. Неке уобичајене поставке укључују:

bootstrap.servers: Листа сервера Kafka на које ће се потрошач повезивати
topic: Тема са које ће потрошач примати поруке
group.id: Идентификатор групе потрошача (потребан је за праћење унутар-партицијских офсета)
auto.offset.reset: Одређује шта ће се десити ако потрошач нема офсет за тему

Напомена: Можете да уредите ове датотеке да бисте прилагодили поставке у складу са вашим захтевима.

Закључак

Инсталирање Apache Kafka на Ubuntu 20.04 је релативно једноставан процес који се може извршити помоћу корака наведених у овом водичу. Након што инсталирате и конфигуришете Kafka, можете почети да сакупљате, обрађујете и складиштите велике количине података у реалном времену. Kafka је моћно средство које може знатно побољшати управљање подацима и аналитику у вашем предузећу.

Често постављана питања (FAQ)

1. Које су системске захтеве за инсталирање Kafka-е на Ubuntu 20.04?

Kafka захтева минимум 1GB RAM меморије и 1GB простора на диску.

2. Која је разлика између произвођача и потрошача Kafka-е?

Произвођач је компонент који шаље поруке на тему Kafka-е, док потрошач прима и обрађује поруке са теме.

3. Како могу прегледати теме у Kafka кластеру?

Можете користити команду /opt/kafka/bin/kafka-topics.sh --list да бисте навели све теме у кластеру.

4. Како могу променити број партиција за тему?

Можете користити команду /opt/kafka/bin/kafka-topics.sh --alter --partitions <нови број партиција> <назив теме> да бисте променили број партиција.

5. Како могу надгледати рад Kafka кластера?

Можете користити Kafka Manager, веб-интерфејс који омогућава управљање и надгледање Kafka кластера.

6. Како могу кластеризовати Kafka?

Можете користирати Apache ZooKeeper да бисте обезбедили координацију и конфигурацију кластера Kafka.

7. Могу ли да инсталирам Kafka без Java-е?

Не, Java је неопходан за рад kafka.

8. Који су неки од начина коришћења Kafka-е?

Kafka се може користити за обраду података у реалном времену, управљање токовима података и изградњу апликација које зависе од података.

Додатне ресурсе:

Apache Kafka документација
– [Водич за инсталацију Apache Kafka на Ubuntu](https://www.digitalocean.com/community/