Апацхе Кафка је сервис за стримовање порука који омогућава различитим апликацијама у дистрибуираном систему да комуницирају и деле податке путем порука.
Функционише као пуб/подсистем где произвођачке апликације објављују поруке, а потрошачки системи се претплате на њих.
Апацхе Кафка вам омогућава да усвојите слабо повезану архитектуру између делова вашег система који производе и конзумирају податке. Ово чини пројектовање и управљање системом једноставнијим. Кафка се ослања на Зоокеепер за управљање метаподацима и синхронизацију различитих елемената кластера.
Преглед садржаја
Карактеристике Апацхе Кафке
Апач Кафка је постао популаран, између осталих разлога, због постојања
- Скалабилност кроз кластере и партиције
- Брз способан да изврши 2 милиона писања у секунди
- Одржава редослед слања порука
- Поуздан кроз свој систем реплика
- Може се надоградити без застоја
Сада, хајде да истражимо неке од уобичајених случајева употребе Кафке.
Уобичајени случајеви употребе Апацхе Кафке
Кафка се често користи у обради великих података, снимању и агрегирању догађаја као што су кликови на дугме за аналитику и комбиновање евиденције из различитих делова система на једну централну локацију.
Помаже у омогућавању комуникације између различитих апликација у систему и обраде података са ИоТ уређаја у реалном времену.
Сада, хајде да погледамо детаљне кораке за инсталирање Кафке на Виндовс и Линук.
Инсталирање Кафке на Виндовс
Прво проверите да ли је Јава инсталирана на вашој машини да бисте инсталирали Апацхе Кафка на Виндовс. Отворите командну линију у режиму администратора и унесите команду:
java --version
Ако је инсталирана Јава, требало би да добијете број верзије ЈДК који је тренутно инсталиран.
Ако добијете поруку о грешци која каже да команда није препозната, Јава није инсталирана и морате да инсталирате Јава. Да бисте инсталирали Јаву, идите на Адоптиум.нет и кликните на дугме за преузимање.
Ово би требало да преузме датотеку Јава инсталационог програма. Када се преузимање заврши, покрените инсталатер. Ово би требало да отвори промпт за инсталацију.
Притискајте Нект више пута да бисте изабрали подразумеване опције. Затим би требало да почне инсталација. Проверите инсталацију тако што ћете затворити командну линију, поново отворити другу командну линију у режиму администратора и унети команду:
java --version
Овог пута, требало би да добијете ЈДК верзију коју сте управо инсталирали. Након што је инсталација завршена, можемо почети са инсталирањем Кафке.
Да бисте инсталирали Кафку, прво идите на Кафка веб локацију.
Кликните на везу и требало би да вас одведе на страницу за преузимање. Преузмите најновије доступне бинарне датотеке.
Ово ће преузети Кафка скрипте и бинарне датотеке упаковане у .тгз датотеку. Након преузимања, морате издвојити датотеке из .тгз архиве. За издвајање користићу ВинЗип, који се може преузети са веб странице ВинЗип.
Након распакивања датотеке, померите је у Ц: тако да путања датотеке постане Ц:кафка
Затим отворите командну линију у режиму администратора и покрените Зоокеепер тако што ћете прво отићи до Кафка директоријума. И покретање датотеке зоокеепер-сервер-старт.бат са зоокеепер.пропертиес као конфигурационом датотеком
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Када је Зоокеепер покренут, морамо да додамо вмиц извршну датотеку коју Кафка користи у нашем систему ПАТХ,
set PATH=C:WindowsSystem32wbem;%PATH%;
Након тога, покрените Апацхе Кафка сервер тако што ћете отворити другу сесију командне линије у режиму администратора и отићи до директоријума Ц:кафка
cd C:kafka
Затим покрените Кафку трчањем
binwindowskafka-server-start.bat configserver.properties
Са овим, Кафка би требало да трчи. Можете да прилагодите својства сервера, као што је место на коме су евиденције записане у датотеци сервер.пропертиес.
Инсталирање Кафке на Линук
Прво, уверите се да је ваш систем ажуриран тако што ћете ажурирати све пакете
sudo apt update && sudo apt upgrade
Затим проверите да ли је Јава инсталирана на вашој машини тако што ћете покренути
java --version
Ако је Јава инсталирана, видећете број верзије. Међутим, ако није, можете га инсталирати помоћу апт.
sudo apt install default-jdk
Након овога, можемо инсталирати Апацхе Кафку преузимањем бинарних датотека са веб локације.
Отворите свој терминал и идите до фасцикле у којој је преузимање сачувано. У мом случају, морам да идем до фасцикле Преузимања.
cd Downloads
Једном у фасцикли за преузимање, извуците преузете датотеке користећи тар:
tar -xvzf kafka_2.13-3.3.1.tgz
Идите до екстраховане фасцикле
cd kafka_2.13-3.3.1.tgz
Наведите директоријуме и датотеке.
Једном у фасцикли, покрените Зоокеепер сервер тако што ћете покренути скрипту зоокеепер-сервер-старт.сх која се налази у директоријуму бин екстраховане фасцикле.
Скрипта ће захтевати конфигурациону датотеку Зоокеепер-а. Подразумевана датотека се зове зоокеепер.пропертиес и налази се у поддиректоријуму конфигурације.
Дакле, да бисте покренули сервер, користите наредбу:
bin/zookeeper-server-start.sh config/zookeeper.properties
Када је Зоокеепер покренут, можемо покренути Апацхе Кафка сервер. Скрипта кафка-сервер-старт.сх се такође налази у директоријуму бин. Команда такође очекује конфигурациону датотеку. Подразумевана је сервер.пропертиес ускладиштена у конфигурационој датотеци.
bin/kafka-server-start.sh config/server.properties
Ово би требало да покрене Апацхе Кафку. Унутар бин директоријума, наћи ћете многе скрипте за обављање ствари као што су креирање тема, управљање произвођачима и управљање потрошачима. Такође можете прилагодити својства сервера у датотеци сервер.пропертиес.
Завршне речи
У овом водичу смо прошли кроз како да инсталирамо Јава и Апацхе Кафка. Иако можете ручно да инсталирате и управљате Кафка кластерима, можете да користите и управљане опције као што су Амазон Веб Сервицес и Цонфлуент.
Затим можете научити обраду података помоћу Кафке и Спарк-а.