Укључите и извршите моделе машинског учења за визуелне аномалије у АВС архитектури без сервера

Замислите да имате велику инфраструктуру разних врста уређаја које морате редовно одржавати или осигурати да нису опасни по околину.

Један од начина да се то постигне је редовно слање људи на свако место да провере да ли је све у реду. Ово је некако изводљиво, али и прилично скупо времена и ресурса. А ако је инфраструктура довољно велика, можда нећете моћи да је покријете у целини у року од годину дана.

Други начин је да аутоматизујете тај процес и дозволите да послови у облаку верификују за вас. Да би се то десило, мораћете да урадите следеће:

👉 Брз процес о томе како да добијете слике уређаја. Ово и даље могу да ураде особе јер је и даље много брже направити само слику као што је све процесе верификације уређаја. То се такође може урадити фотографијама снимљеним из аутомобила или чак дронова, у ком случају то постаје много бржи и аутоматизованији процес прикупљања слика.

👉 Затим треба да пошаљете све добијене слике на једно наменско место у облаку.

👉 У облаку вам је потребан аутоматизован посао да покупите слике и обрадите их преко модела машинског учења обучених да препознају оштећења или аномалије уређаја.

👉 На крају, резултати морају бити видљиви потребним корисницима како би се поправка могла заказати за уређаје са проблемима.

Хајде да погледамо како можемо да постигнемо детекцију аномалија на сликама у АВС облаку. Амазон има неколико унапред изграђених модела машинског учења које можемо да користимо у ту сврху.

Како направити модел за откривање визуелних аномалија

Да бисте креирали модел за откривање визуелних аномалија, мораћете да следите неколико корака:

Корак 1: Јасно дефинишите проблем који желите да решите и врсте аномалија које желите да откријете. Ово ће вам помоћи да одредите одговарајући скуп података за тестирање који ће вам требати да обучите модел.

Корак 2: Прикупите велики скуп слика које представљају нормалне и аномалне услове. Означите слике да бисте назначили које су нормалне, а које садрже аномалије.

Корак 3: Одаберите архитектуру модела која је погодна за задатак. Ово може укључивати одабир унапред обученог модела и фино подешавање за ваш специфични случај употребе или креирање прилагођеног модела од нуле.

Корак 4: Обучите модел користећи припремљени скуп података и изабрани алгоритам. То значи коришћење трансферног учења да би се искористили унапред обучени модели или обучавање модела од нуле коришћењем техника као што су конволуционе неуронске мреже (ЦНН).

Како тренирати модел машинског учења

Извор: авс.амазон.цом

Процес обуке АВС модела машинског учења за откривање визуелних аномалија обично укључује неколико важних корака.

  8 онлајн скенера портова за проналажење отворених портова на серверу и ИП-у

#1. Прикупите податке

У почетку морате прикупити и означити велики скуп података слика које представљају нормалне и аномалне услове. Што је скуп података већи, то се модел може обучити бољи и прецизнији. Али такође, то укључује много више времена посвећеног обуци модела.

Обично желите да имате око 1000 слика у сету за тестирање да бисте имали добар почетак.

#2. Припремите податке

Подаци о слици морају бити претходно претходно обрађени да би модели машинског учења могли да их покупе. Претходна обрада може значити различите ствари, као што су:

  • Чишћење улазних слика у засебне подфолдере, исправљање метаподатака итд.
  • Промена величине слика како би се задовољиле захтеве резолуције модела.
  • Дистрибуирати их у мање комаде слика за ефикаснију и паралелнију обраду.

#3. Изаберите модел

Сада изаберите прави модел да бисте обавили прави посао. Или изаберите унапред обучени модел, или можете креирати прилагођени модел погодан за откривање визуелних аномалија на моделу.

#4. Оцените резултате

Када модел обради ваш скуп података, ви ћете потврдити његове перформансе. Такође, желите да проверите да ли су резултати задовољавајући за потребе. То може значити, на пример, да су резултати тачни на више од 99% улазних података.

#5. Примените модел

Ако сте задовољни резултатима и перформансама, примените модел са одређеном верзијом у окружење АВС налога како би процеси и услуге могли да почну да га користе.

#6. Пратите и побољшајте

Пустите га да прође кроз различите тестне задатке и скупове података слика и стално процењује да ли су потребни параметри за исправност детекције још увек на месту.

Ако није, поново обучите модел укључивањем нових скупова података где је модел дао погрешне резултате.

АВС модели машинског учења

Сада погледајте неке конкретне моделе које можете искористити у Амазон облаку.

АВС Рекогнитион

Извор: авс.амазон.цом

Рекогнитион је услуга за анализу слика и видео снимака опште намене која се може користити за различите случајеве употребе, као што су препознавање лица, детекција објеката и препознавање текста. Већину времена ћете користити Рекогнитион модел за почетно необрађено генерисање резултата детекције да бисте формирали језеро података идентификованих аномалија.

Пружа низ унапред направљених модела које можете користити без обуке. Рекогнитион такође пружа анализу слика и видео записа у реалном времену са високом прецизношћу и малим кашњењем.

Ево неких типичних случајева употребе у којима је Рекогнитион добар избор за откривање аномалија:

  • Имајте случај употребе опште намене за откривање аномалија, као што је откривање аномалија на сликама или видео снимцима.
  • Извршите детекцију аномалија у реалном времену.
  • Интегришите свој модел детекције аномалија са АВС услугама као што су Амазон С3, Амазон Кинесис или АВС Ламбда.

Ево неколико конкретних примера аномалија које можете открити помоћу Рекогнитион-а:

  • Аномалије на лицима, као што је откривање израза лица или емоција изван нормалног опсега.
  • Недостају или погрешно постављени објекти у сцени.
  • Погрешно написане речи или необични обрасци текста.
  • Неуобичајени услови осветљења или неочекивани објекти у сцени.
  • Неприкладан или увредљив садржај на сликама или видео снимцима.
  • Нагле промене у кретању или неочекивани обрасци кретања.
  Како инсталирати ФилеЗилла на Убунту

АВС Лоокоут фор Висион

Извор: авс.амазон.цом

Лоокоут фор Висион је модел посебно дизајниран за откривање аномалија у индустријским процесима, као што су производне и производне линије. Обично захтева неку прилагођену пре-процесу и накнадну обраду слике или неки конкретан исечак слике, који се обично ради помоћу Питхон програмског језика. Већину времена специјализована је за неке врло посебне проблеме на слици.

Захтева прилагођену обуку на скупу података нормалних и аномалних слика да би се креирао прилагођени модел за откривање аномалија. Није толико фокусиран на реално време; већ је дизајниран за групну обраду слика, фокусирајући се на тачност и прецизност.

Ево неких типичних случајева употребе у којима је Лоокоут фор Висион добар избор ако треба да откријете:

  • Дефекти у произведеним производима или идентификација кварова опреме у производној линији.
  • Велики скуп слика или других података.
  • Аномалија у реалном времену у индустријском процесу.
  • Аномалија интегрисана са другим АВС услугама, као што су Амазон С3 или АВС ИоТ.

Ево неколико конкретних примера аномалија које можете открити користећи Лоокоут фор Висион:

  • Дефекти у произведеним производима, као што су огреботине, удубљења или друге несавршености, могу утицати на квалитет производа.
  • Кварови на опреми у производној линији, као што је откривање покварених или неисправних машина које могу узроковати кашњења или сигурносне опасности.
  • Проблеми контроле квалитета у производној линији укључују откривање производа који не испуњавају тражене спецификације или толеранције.
  • Безбедносне опасности у производној линији укључују откривање предмета или материјала који могу представљати ризик за раднике или опрему.
  • Аномалије у производном процесу, као што је откривање неочекиваних промена у протоку материјала или производа кроз производну линију.

АВС Сагемакер

Извор: авс.амазон.цом

Сагемакер је платформа којом се у потпуности управља за изградњу, обуку и примену прилагођених модела машинског учења.

То је много робусније решење. У ствари, он пружа начин да се повеже и изврши неколико процеса у више корака у један ланац послова који следе један за другим, слично као што то могу да ураде АВС Степ Фунцтионс.

Али пошто Сагемакер користи ад-хоц ЕЦ2 инстанце за своју обраду, не постоји ограничење од 15 минута за обраду једног посла, као у случају АВС ламбда функција у АВС Степ Функцијама.

Такође можете да извршите аутоматско подешавање модела са Сагемакер-ом, што је дефинитивно карактеристика која га чини посебном опцијом. Коначно, Сагемакер може без напора да примени модел у производно окружење.

Ево неких типичних случајева употребе у којима је СагеМакер добар избор за откривање аномалија:

  • Специфичан случај употребе који није покривен унапред изграђеним моделима или АПИ-јима, и ако требате да направите прилагођени модел прилагођен вашим специфичним потребама.
  • Ако имате велики скуп слика или других података. Унапред изграђени модели захтевају одређену претходну обраду у таквим случајевима, али Сагемакер то може и без ње.
  • Ако треба да извршите откривање аномалија у реалном времену.
  • Ако треба да интегришете свој модел са другим АВС услугама, као што су Амазон С3, Амазон Кинесис или АВС Ламбда.
  10 Схопифи Дропсхиппинг апликација за развој вашег пословања е-трговине

А ево неких типичних детекција аномалија које Сагемакер може да изведе:

  • Откривање превара у финансијским трансакцијама, на пример, необични обрасци потрошње или трансакције изван нормалног опсега.
  • Сајбер безбедност у мрежном саобраћају, као што су необични обрасци преноса података или неочекиване везе са спољним серверима.
  • Медицинска дијагноза у медицинским сликама, као што је откривање тумора.
  • Аномалије у перформансама опреме, као што је откривање промена у вибрацијама или температури.
  • Контрола квалитета у производним процесима, као што је откривање недостатака у производима или идентификација одступања од очекиваних стандарда квалитета.
  • Необични обрасци коришћења енергије.

Како уградити моделе у архитектуру без сервера

Обучени модел машинског учења је услуга у облаку која не користи ниједан кластер сервер у позадини; стога се може лако укључити у постојећу архитектуру без сервера.

Аутоматизација се врши преко АВС ламбда функција, повезаних у посао од више корака унутар услуге АВС Степ Фунцтионс.

Обично вам је потребна почетна детекција одмах након прикупљања слика и њихове претходне обраде на С3 канти. Ту ћете генерисати детекцију атомских аномалија на улазним сликама и сачувати резултате у језеру података, на пример, представљено Атхена базом података.

У неким случајевима, ово почетно откривање није довољно за ваш конкретан случај употребе. Можда ће вам требати још једна, детаљнија детекција. На пример, почетни модел (нпр. Препознавање) може да открије неки проблем на уређају, али није могуће поуздано идентификовати о каквој се врсти проблема ради.

За то ће вам можда требати други модел са различитим могућностима. У том случају, можете покренути други модел (нпр. Лоокоут фор Висион) на подскупу слика где је почетни модел идентификовао проблем.

Ово је такође добар начин да уштедите неке трошкове, јер не морате да покрећете други модел на целом сету слика. Уместо тога, покрећете га само на смисленом подскупу.

АВС Ламбда функције ће покрити сву такву обраду користећи Питхон или Јавасцрипт код. Зависи само од природе процеса и колико АВС ламбда функција ћете морати да укључите у ток. Ограничење од 15 минута за максимално трајање АВС ламбда позива ће одредити колико корака такав процес треба да садржи.

Завршне речи

Рад са моделима машинског учења у облаку је веома занимљив посао. Ако то погледате из перспективе вештина и технологија, открићете да вам је потребан тим са великим бројем вештина.

Тим треба да разуме како да обучи модел, било да је унапред направљен или направљен од нуле. То значи да је много математике или алгебре укључено у балансирање поузданости и перформанси резултата.

Такође су вам потребне неке напредне вештине Питхон или Јавасцрипт кодирања, базе података и СКЛ вештине. А након што се сав посао са садржајем заврши, потребне су вам ДевОпс вештине да бисте га укључили у цевовод који ће га учинити аутоматизованим послом спремним за примену и извршење.

Дефинисање аномалије и обука модела је једна ствар. Али изазов је интегрисати све то у један функционални тим који може да обради резултате модела и сачува податке на ефикасан и аутоматизован начин за њихово сервирање крајњим корисницима.

Затим погледајте све о препознавању лица за предузећа.