Представите себи ситуацију у којој управљате обимном инфраструктуром која се састоји од различитих уређаја, за које је неопходно редовно одржавање или гаранција да не представљају опасност за околину.
Један од приступа јесте да се периодично шаљу тимови на сваку локацију како би извршили инспекцију. Иако је ово могуће, захтева значајна финансијска улагања и губитак времена. У случају велике инфраструктуре, тешко је покрити све локације унутар једне године.
Алтернативно решење је аутоматизација овог процеса, где задаци у клауду врше верификацију. За то је потребно:
👉 Брзо прикупљање слика уређаја. Ово могу радити и појединци, јер је знатно брже направити слику него ручно верификовати уређаје. Коришћење фотографија направљених из аутомобила или дронова додатно убрзава и аутоматизује процес прикупљања.
👉 Све прикупљене слике се шаљу на централизовану локацију у облаку.
👉 У облаку је потребно подесити аутоматски посао који ће преузимати слике и обрађивати их користећи моделе машинског учења. Ти модели су обучени да детектују оштећења или абнормалности на уређајима.
👉 На крају, резултати морају бити доступни релевантним корисницима, како би се поправке могле заказати за уређаје са утврђеним проблемима.
Хајде да размотримо како се детекција аномалија на сликама може постићи коришћењем АВС облака. Амазон нуди неколико готових модела машинског учења који се могу користити у ову сврху.
Како креирати модел за детекцију визуелних аномалија
Процес креирања модела за детекцију визуелних аномалија обухвата неколико корака:
Корак 1: Јасно дефинисање проблема који желите да решите и врста аномалија које тражите. Ово ће вам помоћи да одаберете одговарајући скуп података за тестирање и обуку модела.
Корак 2: Прикупљање великог броја слика које представљају нормална и абнормална стања. Слике треба означити тако да буде јасно које су нормалне, а које показују аномалије.
Корак 3: Избор архитектуре модела која је најприкладнија за задатак. Можете изабрати већ обучени модел и фино га подесити за ваш конкретан случај, или креирати прилагођени модел од почетка.
Корак 4: Обука модела користећи припремљен скуп података и одабрани алгоритам. Ово укључује коришћење трансферног учења, где се користе већ обучени модели, или обуку модела од нуле, користећи технике као што су конволуционе неуронске мреже (CNN).
Како тренирати модел машинског учења
Извор: авс.амазон.цом
Процес обуке АВС модела машинског учења за детекцију визуелних аномалија састоји се од неколико кључних корака.
#1. Прикупљање података
Први корак је прикупљање и обележавање великог скупа слика које приказују нормалне и аномалне ситуације. Већи скуп података омогућава бољу и прецизнију обуку модела. Наравно, већи скуп података подразумева и више времена посвећеног обуци модела.
Пожељно је имати око 1000 слика у сету за тестирање за добар почетак.
#2. Припрема података
Слике је потребно претходно обрадити како би их модели машинског учења могли користити. Претходна обрада обухвата различите радње, као што су:
- Сортирање слика у посебне поддиректоријуме, поправљање метаподатака, итд.
- Промена величине слика како би се ускладиле са захтевима модела.
- Расподела слика у мање групе за ефикаснију и паралелну обраду.
#3. Избор модела
У овој фази се бира одговарајући модел за дати задатак. Можете изабрати већ обучени модел или креирати прилагођени модел који је специфично дизајниран за детекцију визуелних аномалија.
#4. Процена резултата
Након обраде података, потребно је проверити перформансе модела. Важно је утврдити да ли резултати задовољавају потребе. На пример, резултати би требали бити тачни у више од 99% случајева.
#5. Примена модела
Уколико сте задовољни резултатима и перформансама, имплементирајте модел са одређеном верзијом у АВС окружење, тако да процеси и услуге могу да почну да га користе.
#6. Праћење и унапређење
Модел треба тестирати на различитим задацима и скуповима слика. Непрестано треба процењивати да ли су параметри за детекцију аномалија и даље на задовољавајућем нивоу.
Уколико резултати нису задовољавајући, модел треба поново обучити користећи нове скупове података где је модел дао погрешне резултате.
АВС модели машинског учења
Сада ћемо размотрити неке конкретне моделе доступне у Амазон облаку.
АВС Рекогнитион
Извор: авс.амазон.цом
Рекогнитион је услуга за анализу слика и видеа опште намене, која се може користити за различите случајеве, као што су препознавање лица, детекција објеката и препознавање текста. Најчешће се Рекогнитион користи за генерисање почетних резултата детекције, како би се формирало језеро података идентификованих аномалија.
Услуга нуди низ готових модела који се могу користити без додатне обуке. Рекогнитион пружа анализу слика и видео записа у реалном времену са високом прецизношћу и малим кашњењем.
Ево неких типичних случајева где је Рекогнитион добар избор за детекцију аномалија:
- Општа детекција аномалија на сликама или видео записима.
- Детекција аномалија у реалном времену.
- Интеграција модела за детекцију аномалија са другим АВС услугама као што су Амазон С3, Амазон Кинесис или АВС Ламбда.
Неколико примера аномалија које се могу детектовати користећи Рекогнитион:
- Аномалије на лицима, као што је детектовање израза лица или емоција које нису у нормалном опсегу.
- Недостајући или погрешно постављени објекти на сцени.
- Погрешно написане речи или необични обрасци текста.
- Неуобичајени услови осветљења или неочекивани објекти на сцени.
- Неприкладан или увредљив садржај на сликама или видео записима.
- Нагле промене у кретању или неочекивани обрасци кретања.
АВС Лоокоут фор Висион
Извор: авс.амазон.цом
Лоокоут фор Висион је модел специјално дизајниран за детекцију аномалија у индустријским процесима, као што су производне линије. Често захтева прилагођену претходну и накнадну обраду слика, обично користећи програмски језик Python. Углавном је специјализован за одређене проблеме на сликама.
Захтева прилагођену обуку на скупу нормалних и аномалних слика, како би се креирао модел за детекцију аномалија. Није толико фокусиран на обраду у реалном времену, већ је дизајниран за групну обраду са нагласком на тачност и прецизност.
Ево неких типичних случајева употребе где је Лоокоут фор Висион добар избор:
- Детекција дефеката у произведеним производима или идентификација кварова опреме у производној линији.
- Обрада великог скупа слика.
- Детекција аномалија у индустријским процесима.
- Интеграција са другим АВС услугама као што су Амазон С3 или АВС ИоТ.
Неколико примера аномалија које се могу детектовати користећи Лоокоут фор Висион:
- Дефекти у произведеним производима, као што су огреботине, удубљења и друге несавршености.
- Кварови на опреми у производној линији, као што је откривање покварених машина.
- Проблеми са контролом квалитета у производној линији, као што је детекција производа који не испуњавају стандарде.
- Безбедносне опасности у производној линији, као што је откривање предмета који представљају ризик за раднике.
- Аномалије у производном процесу, као што је детекција неочекиваних промена у протоку материјала.
АВС Сагемакер
Извор: авс.амазон.цом
Сагемакер је платформа за изградњу, обуку и примену прилагођених модела машинског учења.
Представља робусније решење. Омогућава повезивање и извршавање неколико процеса у један ланац послова, слично АВС Степ Функцијама.
За разлику од АВС Ламбда функција у АВС Степ Функцијама, Сагемакер не ограничава обраду на 15 минута, јер користи ЕЦ2 инстанце за обраду.
Сагемакер такође омогућава аутоматско подешавање модела, што је значајна предност. Коначно, Сагемакер олакшава примену модела у производно окружење.
Ево неких типичних случајева у којима је Сагемакер добар избор:
- Специфичан случај који није покривен готовим моделима, и где је потребно креирати прилагођен модел.
- Обрада великог скупа слика или других података. Сагемакер може да обради податке без опсежне претходне обраде.
- Детекција аномалија у реалном времену.
- Интеграција модела са другим АВС услугама као што су Амазон С3, Амазон Кинесис или АВС Ламбда.
Неколико примера детекције аномалија које Сагемакер може да изврши:
- Детекција превара у финансијским трансакцијама, као што су необични обрасци потрошње.
- Сајбер безбедност у мрежном саобраћају, као што су необични обрасци преноса података.
- Медицинска дијагноза на медицинским сликама, као што је детекција тумора.
- Аномалије у перформансама опреме, као што је детекција промена у вибрацијама или температури.
- Контрола квалитета у производним процесима, као што је детекција дефеката на производима.
- Необични обрасци коришћења енергије.
Како уградити моделе у архитектуру без сервера
Обучени модели машинског учења су услуге у облаку које не користе серверске кластере у позадини, што олакшава њихову интеграцију у постојећу архитектуру без сервера.
Аутоматизација се постиже путем АВС Ламбда функција, које су повезане у вишекорачни процес унутар АВС Степ Функција.
Уобичајено, потребно је извршити почетну детекцију одмах након прикупљања и претходне обраде слика на С3 канти. У овој фази се генерише детекција аномалија на улазним сликама и резултати се чувају у језеру података, као што је Атхена база података.
У неким случајевима, ова почетна детекција није довољна. Може бити неопходна детаљнија детекција. На пример, почетни модел (као што је Рекогнитион) може детектовати проблем на уређају, али не може поуздано утврдити о којој се врсти проблема ради.
У том случају се може покренути други модел (као што је Лоокоут фор Висион) на подскупу слика где је први модел детектовао проблем.
Ово такође помаже у смањењу трошкова, јер други модел не мора да се примењује на цео сет слика, већ само на релевантан подскуп.
АВС Ламбда функције покривају сву обраду користећи Python или Javascript. Комплексност процеса и број АВС Ламбда функција потребних у току посла зависе од природе посла. Ограничење од 15 минута за максимално трајање АВС Ламбда позива одређује колико корака може да садржи један процес.
Завршне речи
Рад са моделима машинског учења у облаку је врло занимљив. Са техничке стране, за овакав посао је неопходан тим са широким спектром вештина.
Тим треба да разуме процес обуке модела, било да је реч о готовом моделу или моделу креираном од почетка. То подразумева добро познавање математике и алгебре ради балансирања поузданости и перформанси резултата.
Потребне су и напредне вештине Python или Javascript програмирања, познавање база података и SQL. Након свих обрада података, неопходне су и DevOps вештине за укључивање процеса у ланац који ће га аутоматизовати и припремити за примену.
Дефинисање аномалије и обука модела је једна ствар. Међутим, изазов је интегрирати све то у функционалан тим који је у стању да обради резултате модела и ефикасно и аутоматски сачува податке ради коришћења од стране крајњих корисника.
Затим погледајте све о препознавању лица за предузећа.