Амазон Глуе постаје све популарнији јер су многе компаније почеле да користе услуге интеграције управљаних података.
ЕТЛ је процес који преноси податке из изворне базе података у складиште података. ЕТЛ је сложен и тежак за имплементацију за све податке предузећа због своје сложености. Амазон је представио АВС Глуе да реши овај проблем.
ЕТЛ програмери и инжењери података користе Глуе за прављење, праћење и покретање ЕТЛ токова посла.
Преглед садржаја
Шта је АВС лепак?
АВС Глуе, услуга интеграције података без сервера, олакшава проналажење, припрему, премештање и интеграцију података из више извора. Ово је корисно за машинско учење (МЛ) и аналитику.
То драматично смањује време потребно за припрему података за анализу. Аутоматски проналази и наводи податке, генерише Сцала или Питхон код за пренос података из извора и учитава и трансформише посао у складу са временским догађајима.
Ово омогућава флексибилно заказивање и ствара Апацхе Спарк окружење које се може скалирати за циљано учитавање података. Поред тога, АВС Глуе обезбеђује сложено праћење и измену тока података. АВС Глуе је услуга без сервера која поједностављује компликоване операције развоја апликација.
Омогућава брзу интеграцију више валидних података. Такође брзо квари и ауторизује податке.
За шта се користи АВС лепак?
Важно је знати најбоља места за коришћење Амазон лепка. Ово је само неколико примера употребе АВС лепка које треба да размотрите.
- Глуе је алатка која вам омогућава да покрећете упите без сервера на језерима података Амазон С3. Амазон Глуе је одличан алат за почетак. То чини свим вашим подацима доступним на једном интерфејсу, омогућавајући вам да их анализирате без потребе да их померате.
- Амазон Глуе се може користити за разумевање ваших података. Амазон Глуе вам олакшава претрагу различитих скупова АВС података помоћу Каталога података. Такође можете да сачувате податке на више АВС услуга користећи Каталог података док и даље имате доследан приказ.
- Лепак може бити од помоћи при изградњи ЕТЛ токова рада вођених догађајима. Можете да извршите своје ЕТЛ операције са Амазон С3 тако што ћете позвати своје Глуе ЕТЛ задатке преко АВС Ламбда услуге.
- АВС Глуе се такође може користити за чишћење, верификацију, форматирање и организовање података за складиштење у језеру података или складишту.
Које су компоненте АВС лепка?
Испод су главне компоненте АВС лепка:
- Каталог података: Овај каталог података садржи метаподатке и структуру података.
- База података: Ово је кључ за приступ и креирање базе података за изворе и циљеве.
- Табела: Креирајте једну или неколико табела у бази података које могу да користе и циљ и извор.
- Пописивач и класификатор: Покретач преузима податке из извора користећи уграђене или прилагођене класификације. Он креира/користи унапред дефинисане табеле метаподатака у каталогу података.
- Посао: Ово је посао пословне логике да изврши ЕТЛ задатак. Ову пословну логику је интерно написао Апацхе Спарк користећи питхон и сцала језике.
- Окидач: ЕТЛ окидач је уређај који покреће извршавање ЕТЛ посла на захтев или у одређено време.
- Крајња тачка за развој: Ово ствара окружење у којем се ЕТЛ скрипта посла тестира, развија и отклања грешке.
Предности АВС лепка
Ово су предности коришћења на вашем радном месту или унутар организације.
- АВС Глуе скенира све доступне податке помоћу пописивача.
- Коначно обрађени подаци могу се чувати на многим местима (Амазон РДС и Амазон Редсхифт, Амазон С3, итд.
- То је услуга заснована на облаку. Нема потребе да трошите новац на инфраструктуру на локалном нивоу.
- Пошто је то ЕТЛ без сервера, то је исплатив избор.
- То је брзо. Одмах вам даје Питхон/Сцала ЕТЛ код.
Најважније карактеристике АВС лепка?
Амазон Глуе има све функције које су вам потребне да интегришете податке како бисте могли да стекнете бољи увид и искористите своје знање за нови напредак за неколико минута уместо месеци. Ево неких карактеристика које би требало да знате.
- Драг анд Дроп интерфејс: Превуците и испустите уређивач задатака вам омогућава да креирате ЕТЛ процес. АВС Глуе ће одмах направити код потребан за издвајање, конверзију и отпремање података.
- Аутоматско откривање шеме: Да бисте креирали пописиваче који се повезују са различитим изворима података, можете користити услугу Глуе. Организује податке и издваја релевантне информације. Ови подаци се затим могу користити за праћење ЕТЛ процеса помоћу ЕТЛ задатака.
- Распоред послова: Лепак се може користити на захтев или према распореду. Планер се може користити за изградњу сложених ЕТЛ цевовода, успостављајући зависности између задатака.
- Генерисање кода: Глуе Еластиц Виевс вам омогућава да лако креирате материјализоване погледе који комбинују и реплицирају податке из различитих извора података без потребе за писањем било каквог власничког кода.
- Уграђено машинско учење: Глуе долази са уграђеном функцијом машинског учења под називом „ФиндМатцхес“. Он уклања дупликате записа који нису савршене копије једни других.
- Крајње тачке програмера: Ако желите да активно развијате свој ЕТЛ код, Глуе обезбеђује крајње тачке програмера које вам омогућавају да модификујете, отклањате грешке и тестирате код који креира.
- Глуе ДатаБрев: То је алатка за припрему података коју могу користити аналитичари података и научници података како би им помогли да очисте и нормализују податке. Користи активни и визуелни интерфејс Глуе ДатаБрев-а.
Како функционише одређивање цена АВС лепка?
АВС Глуе наплаћује сатницу, која се наплаћује по секунди за пописиваче (откривање података) и ЕТЛ послове (обрада и учитавање података). Једноставна месечна накнада се наплаћује за приступ и чување метаподатака у АВС Глуе Дата Цаталогу.
Амазон Глуе почиње од 0,44 долара. Можете бирати између четири плана:
- ЕТЛ задаци, крајње тачке развоја и други ЕТЛ задаци доступни су по цени од 0,44 УСД
- Интерактивне сесије претраживача су доступне по цени од 0,44 УСД
- ДатаБрев послови почињу од 0,48 долара
- Месечно складиштење и захтеви за Каталог података коштају 1,00 УСД
АВС не нуди бесплатан Глуе план. Сваки сат ће коштати 0,44 долара по ДПУ-у. У просеку, то би вас коштало 21 долар дневно. Цене се могу разликовати у зависности од тога где живите.
Кораци за подешавање АВС Глуе-а
Каталог података се може користити за брзо проналажење и претраживање више АВС скупова података без потребе за премештањем података. Након што су подаци каталогизовани, они су одмах доступни за упите и претрагу користећи Амазон Атхена и Амазон ЕМР.
Реф: хттпс://авс.амазон.цом/глуе/
- Амазон Редсхифт, Амазон С3, Амазон РДС и базе података на Амазон ЕЦ2 – Откријте своје податке, чувајте метаподатке и користите АВС Глуе Дата Цаталог да бисте их открили
- АВС Глуе Дата Цаталог – Управљајте подацима помоћу каталога података који делује као централно складиште за метаподатке
- АВС Глуе ЕТЛ – Читајте и упишите метаподатке у свој каталог података
- Амазон Атхена и Амазон Редсхифт, Амазон ЕМР, Амазон ЕТЛ – Преузмите каталог података за ЕТЛ, аналитику и још много тога.
Како да подесим АВС лепак?
Прво, пријавите се на АВС конзолу за управљање и отворите ИАМ конзолу. Кликните на Креирај улогу. Затим за тип улоге пронађите Глуе и изаберите Дозволе.
Бирам АВСГлуеСервицеРоле за опште дозволе АВС Глуе Студио и АВС Глуе и политику којом управља АВС АмазонС3ФуллАццесс за приступ Амазон С3 ресурсима.
Унесите назив улоге.
Кликните на Креирај улогу.
Направите Амазон С3 корпу.
Направите фасциклу унутар С3 корпе.
Изаберите датотеку за отпремање.
На крају, отпремите датотеку у корпу.
Затим отворите АВС Глуе са АВС управљачке конзоле и креирајте базу података.
Сада када имате базу података у АВС Глуе-у, направите пописивач.
У извору података изаберите С3 корпу коју сте креирали.
Затим изаберите ИаМ улогу за АВС Глуе коју сте креирали на почетку.
На крају, у излазу изаберите глуедб који сте креирали.
Прегледајте сва подешавања и направите пописивач.
Када се пописивач креира, изаберите га и кликните на Покрени. Након неког времена, статус ће бити спреман.
Покретањем пописивача, база података ће добити табелу са свим подацима из ЦСВ датотеке.
Када кликнете на приказ података, бићете преусмерени на Амазон Атхена (уређивач упита). Када покренете упит, можете видети податке табеле.
Сада можете успешно да користите овај АВС Глуе претраживач у било ком ЕТЛ послу.
Шта је АВС Глуе Датабрев?
АВС Глуе ДатаБрев омогућава корисницима да нормализују и очисте податке без писања било каквог кода. ДатаБрев може смањити време потребно за припрему података за машинско учење и аналитику за чак 80 процената у поређењу са припремом података по мери.
Постоји преко 250 унапред направљених трансформација података које се могу користити за аутоматизацију задатака припреме података као што су филтрирање аномалија, исправљање неважећих вредности и претварање података у стандардне формате.
ДатаБрев олакшава научницима за податке, пословним аналитичарима и инжењерима да сарађују на извлачењу увида из необрађених података. ДатаБрев је без сервера, тако да не морате да управљате инфраструктуром или креирате кластере да бисте истражили и трансформисали терабајте вредне сирових података.
ДатаБрев карактеристике за предузећа
Припрема визуелизованих података
ДатаБрев је другачији начин за преглед података који се обично посматрају у колонским базама података као алфанумерички бројеви. ДатаБрев визуализује све учитане изворе података како би вам помогао да разумете односе и хијерархију података.
250+ аутоматизација за припрему података
Од научника података се очекује да прате различите поновљиве, изоловане токове посла као део свог посла. Ове радне токове и процесе је АВС моделирао као модуле модула који се односе на језик и податке. Ова библиотека укључује радње које могу да користе крајњи корисници.
Дата Линеаге
Слично евиденцијама ревизије које се користе за праћење активности корисника у ИТ мрежи ИТ мреже, линија података вам омогућава да пратите активности трансформације података у оквиру АВС ДатаБрев. Ове информације укључују извор података, примењене трансформације и излаз података, укључујући циљну локацију.
Мапирање података
Датабрев вам омогућава да пронађете одговарајућа поља у два извора података. Када се идентификују одговарајућа поља, могу се учитати у шему.
АВС Глуе ДатаБрев: Предности
Испод су карактеристике АВС Глуе ДатаБрев-а:
- Доња баријера за улазак за припрему података
- Аутоматско генерисање профила података
- Аутоматизујте 250+ процеса припреме података
- Интелигентни рецептивни предлози
Алтернативе АВС лепку
Проток ваздуха
Аирфлов припада одељку Воркфлов Манагер у техничкој групи. То је алатка отвореног кода која подржава ГитХуб звезде, ГитХуб виљушке и друге функције. Проток ваздуха вам омогућава да креирате радне токове користећи усмерене ацикличне дијаграме (ДАГ). Планер протока ваздуха извршава ваше задатке користећи низ радника и пратећи наведене зависности.
Матилион
Матиллион ЕТЛ, ЕТЛ/ЕЛТ алат, је експлицитно дизајниран за платформе база података у облаку као што су Амазон Редсхифт и Гоогле БигКуери. То је модерно корисничко сучеље засновано на претраживачу са моћним ЕТЛ/ЕЛТ могућностима за спуштање надоле. Можете да почнете да радите за неколико минута уз брзо подешавање.
Шав
Ститцх је ЕТЛ услуга отвореног кода која повезује више извора података и реплицира податке на жељена одредишта. Веома је једноставан за коришћење, јер вам није потребно никакво знање о кодирању да бисте премештали податке између извора и одредишта у Ститцх-у. Једноставан је за коришћење, има пријатељски ГУИ и брз је.
Ститцх вам не дозвољава да изаберете унапред направљену контролну таблу, за разлику од других ЕТЛ алата. Уместо тога, морате да интегришете своје податке у отворена складишта података која изаберете као одредиште. Може бити тешко кретати се по залихама.
Алтерик
Алтерик је платформа за аутоматизацију аналитике која помаже у припреми прикупљања података и мешању. Ови подаци се могу користити за убрзавање процеса и пружање увида у пословање. Пошто је то алатка за превлачење и испуштање, није вам потребно никакво знање о програмирању. Алтерик је одлично место за савете и одговоре од професионалаца у индустрији.
Закључак
Дакле, то је било све о АВС Глуе-у, који је решење засновано на облаку које вам омогућава да радите са ЕТЛ цевоводима. Укратко, процес интеракције корисника АВС Глуе-а састоји се од три фазе. Да бисте креирали каталог података, прво користите алатке за индексирање података. Затим креирате ЕТЛ код потребан за АВС цевовод података. Коначно, ЕТЛ распоред се тада креира. Надам се да вам је овај блог дао добар преглед Амазон Глуе-а.
Такође можете да истражите најбоље савете за обезбеђење АВС С3 складишта.