Изградња једног модела машинског учења је релативно лака. Стварање стотина или хиљада модела и понављање постојећих је тешко.
Лако се изгубити у хаосу. Овај хаос се погоршава када радите као тим, јер сада морате да пратите шта сви раде. Увођење реда у хаос захтева да цео тим прати процес и документује своје активности. Ово је суштина МЛОпс-а.
Преглед садржаја
Шта је МЛОпс?
Извор: мл-опс.орг
Према МЛОпс.орг, Мацхине Леарнинг Оператионализатион покушава да изгради енд-то-енд процес развоја машинског учења како би дизајнирао, изградио и управљао поновљивим, тестираним и еволутивним софтвером који покреће МЛ. У суштини, МЛОпс су ДевОпс принципи који се примењују на машинско учење.
Као и ДевОпс, кључна идеја МЛОпс-а је аутоматизација за смањење ручних корака и повећање ефикасности. Такође, као и ДевОпс, МЛОпс укључује и континуирану интеграцију (ЦИ) и континуирану испоруку (ЦД). Поред ова два, укључује и континуирану обуку (ЦТ). Додатни аспект ЦТ-а укључује преквалификацију модела са новим подацима и њихово поновно распоређивање.
МЛОпс је стога инжењерска култура која промовише методички приступ развоју модела машинског учења и аутоматизацију различитих корака у методи. Процес првенствено укључује екстракцију података, анализу, припрему, обуку модела, евалуацију, послуживање модела и праћење.
Предности МЛОпс-а
Генерално, предности примене МЛОпс принципа су исте као и предности стандардних оперативних процедура. Предности су следеће:
- Добро дефинисан процес пружа мапу пута свих кључних корака које треба предузети у развоју модела. Ово осигурава да се ниједан критичан корак не пропусти.
- Кораци процеса који се могу аутоматизовати могу се идентификовати и аутоматизовати. Ово смањује количину рада који се понавља и повећава брзину развоја. Такође елиминише људске грешке и истовремено смањује количину посла који се мора обавити.
- Постаје лакше проценити напредак у развоју модела знајући у којој се фази процеса модел налази.
- Тимовима је лакше да комуницирају јер постоји заједнички речник за кораке које треба предузети током развоја.
- Процес се може више пута применити на развој многих модела, пружајући начин за управљање хаосом.
Дакле, на крају, улога МЛОпс-а у машинском учењу је да обезбеди методички приступ развоју модела који се може аутоматизовати што је више могуће.
Платформе за изградњу цевовода
Да бисте вам помогли да имплементирате МЛОпс у своје цевоводе, можете користити једну од многих платформи о којима ћемо овде разговарати. Иако појединачне карактеристике ових платформи могу бити различите, оне вам у суштини помажу да урадите следеће:
- Чувајте све своје моделе заједно са њиховим повезаним метаподацима модела – као што су конфигурације, код, тачност и експерименти. Такође укључује различите верзије ваших модела за контролу верзија.
- Чувајте метаподатке скупа података, као што су подаци који су коришћени за обуку модела.
- Пратите моделе у производњи да бисте ухватили проблеме као што је померање модела.
- Поставите моделе у производњу.
- Изградите моделе у окружењима са ниским кодом или без кода.
Хајде да истражимо најбоље МЛОпс платформе.
МЛФлов
МЛФлов је можда најпопуларнија платформа за управљање животним циклусом машинског учења. Бесплатан је и отвореног кода. Пружа следеће карактеристике:
- праћење за снимање ваших експеримената машинског учења, кода, података, конфигурација и коначних резултата;
- пројекти за паковање вашег кода у формат који се лако репродукује;
- имплементација за примену вашег машинског учења;
- регистар за чување свих ваших модела у централном спремишту
МЛФлов се интегрише са популарним библиотекама за машинско учење као што су ТенсорФлов и ПиТорцх. Такође се интегрише са платформама као што су Апацхе Спарк, Х20.аси, Гоогле Цлоуд, Амазон Саге Макер, Азуре Мацхине Леарнинг и Датабрицкс. Такође ради са различитим добављачима облака као што су АВС, Гоогле Цлоуд и Мицрософт Азуре.
Азуре машинско учење
Азуре машинско учење је платформа за машинско учење од краја до краја. Он управља различитим активностима животног циклуса машине у вашем МЛОПс цевоводу. Ове активности укључују припрему података, изградњу и обуку модела, валидацију и примену модела, и управљање и праћење имплементације.
Азуре машинско учење вам омогућава да правите моделе користећи жељени ИДЕ и оквир по избору, ПиТорцх или ТенсорФлов.
Такође се интегрише са ОННКС Рунтиме и Деепспеед ради оптимизације ваше обуке и закључивања. Ово побољшава перформансе. Користи АИ инфраструктуру на Мицрософт Азуре-у која комбинује НВИДИА ГПУ-ове и Мелланок мрежу како би вам помогао да изградите кластере за машинско учење. Помоћу АМЛ-а можете креирати централни регистар за складиштење и дељење модела и скупова података.
Азуре машинско учење се интегрише са Гит и ГитХуб радњама за изградњу токова посла. Такође подржава хибридно или вишеоблачно подешавање. Такође можете да га интегришете са другим Азуре услугама као што су Синапсе Аналитицс, Дата Лаке, Датабрицкс и Сецурити Центер.
Гоогле Вертек АИ
Гоогле Вертек АИ је обједињена платформа података и АИ. Пружа вам алате потребне за прављење прилагођених и унапред обучених модела. Такође служи као енд-то-енд решење за имплементацију МЛОпс-а. Да би био лакши за коришћење, интегрише се са БигКуери, Датапроц и Спарк за беспрекоран приступ подацима током тренинга.
Поред АПИ-ја, Гоогле Вертек АИ обезбеђује окружење алата са ниским бројем кодова и без кода, тако да га могу користити и они који нису програмери, као што су аналитичари пословања и података и инжењери. АПИ омогућава програмерима да га интегришу са постојећим системима.
Гоогле Вертек АИ вам такође омогућава да правите генеративне АИ апликације користећи Генеративе АИ Студио. То чини постављање и управљање инфраструктуром лаким и брзим. Идеални случајеви употребе за Гоогле Вертек АИ укључују обезбеђивање спремности података, инжењеринг функција, обуку и подешавање хиперпараметара, послуживање модела, подешавање и разумевање модела, праћење модела и управљање моделом.
Датабрицкс
Датабрицкс је база података која вам омогућава да припремите и обрадите податке. Са Датабрицкс-ом можете управљати читавим животним циклусом машинског учења од експериментисања до производње.
У суштини Датабрицкс пружа управљани МЛФлов који пружа функције као што су верзија огласа за МЛ модела са евидентирањем података, праћење експеримента, приказивање модела, регистар модела и праћење метрике огласа. Регистар модела вам омогућава да складиштите моделе ради поновљивости, а регистар вам помаже да пратите верзије и фазу животног циклуса у којој се налазе.
Примена модела помоћу Датарицкс-а може се обавити само једним кликом, а имаћете РЕСТ АПИ крајње тачке које ћете користити за предвиђање. Између осталих модела, добро се интегрише са постојећим унапред обученим генеративним и великим језичким моделима, као што су они из библиотеке трансформатора за грљење лица.
Датарицкс обезбеђује колаборативне Датабрицкс свеске које подржавају Питхон, Р, СКЛ и Сцала. Поред тога, поједностављује управљање инфраструктуром обезбеђивањем унапред конфигурисаних кластера који су оптимизовани за задатке машинског учења.
АВС СагеМакер
АВС СагеМакер је АВС услуга у облаку која вам пружа алате који су вам потребни за развој, обуку и примену ваших модела машинског учења. Примарна сврха СагеМакер-а је да аутоматизује заморан и понављајући ручни рад укључен у изградњу модела машинског учења.
Као резултат тога, даје вам алате за изградњу производног цевовода за ваше моделе машинског учења користећи различите АВС услуге, као што су Амазон ЕЦ2 инстанце и Амазон С3 складиште.
СагеМакер ради са Јупитер нотебоок рачунарима инсталираним на ЕЦ2 инстанци заједно са свим уобичајеним пакетима и библиотекама потребним за кодирање модела машинског учења. За податке, СагеМакер је способан да повуче податке из Амазон Симпле Стораге Сервице.
Подразумевано добијате имплементације уобичајених алгоритама машинског учења као што су линеарна регресија и класификација слика. СагеМакер такође долази са монитором модела који обезбеђује континуирано и аутоматско подешавање како би се пронашао скуп параметара који пружају најбоље перформансе за ваше моделе. Примена је такође поједностављена, јер можете лако да примените свој модел на АВС као безбедну ХТТП крајњу тачку коју можете да надгледате помоћу ЦлоудВатцх-а.
ДатаРобот
ДатаРобот је популарна МЛОпс платформа која омогућава управљање у различитим фазама животног циклуса машинског учења, као што су припрема података, МЛ експериментисање, валидација и управљање моделима.
Има алате за аутоматизацију извођења експеримената са различитим изворима података, тестирање хиљада модела и процену најбољих за примену у производњу. Подржава моделе за изградњу различитих типова АИ модела за решавање проблема у временским серијама, обради природног језика и компјутерском виду.
Са ДатаРобот-ом, можете да градите користећи готове моделе, тако да не морате да пишете код. Алтернативно, можете се одлучити за приступ први пут и имплементирати моделе користећи прилагођени код.
ДатаРобот долази са бележницама за писање и уређивање кода. Алтернативно, можете користити АПИ тако да можете развити моделе у ИДЕ-у по вашем избору. Користећи ГУИ, можете пратити експерименте својих модела.
Покрени АИ
Рун АИ покушава да реши проблем недовољног коришћења АИ инфраструктуре, посебно ГПУ-а. Решава овај проблем тако што промовише видљивост све инфраструктуре и осигурава да се она користи током обуке.
Да бисте то урадили, Рун АИ се налази између вашег МЛОпс софтвера и хардвера компаније. Док заузимају овај слој, сви послови обуке се затим покрећу помоћу Рун АИ. Платформа, заузврат, планира када се сваки од ових послова покрене.
Не постоји ограничење да ли хардвер мора да буде заснован на облаку, као што су АВС и Гоогле Цлоуд, локално или хибридно решење. Он пружа слој апстракције тимовима за машинско учење тако што функционише као платформа за виртуелизацију ГПУ-а. Можете да покрећете задатке из Јупитер бележнице, басх терминала или удаљеног ПиЦхарм-а.
Х2О.аи
Х2О је дистрибуирана платформа за машинско учење отвореног кода. Омогућава тимовима да сарађују и креирају централно складиште за моделе где научници података могу да експериментишу и упоређују различите моделе.
Као МЛОпс платформа, Х20 пружа низ кључних карактеристика. Прво, Х2О такође поједностављује примену модела на серверу као РЕСТ крајњој тачки. Пружа различите теме за примену као што су А/Б тест, Цхампоион-Цхалленгер модели и једноставна примена једног модела.
Током обуке, он чува и управља подацима, артефактима, експериментима, моделима и применама. Ово омогућава да модели буду поновљиви. Такође омогућава управљање дозволама на нивоу групе и корисника за управљање моделима и подацима. Док модел ради, Х2О такође обезбеђује праћење у реалном времену за померање модела и друге оперативне метрике.
Паперспаце Градиент
Градиент помаже програмерима у свим фазама развојног циклуса машинског учења. Обезбеђује преносне рачунаре засноване на Јупитер-у отвореног кода за развој модела и обуку у облаку користећи моћне ГПУ. Ово вам омогућава да брзо истражујете и прототипујете моделе.
Цевоводи за имплементацију могу се аутоматизовати креирањем токова посла. Ови токови посла су дефинисани описом задатака у ИАМЛ-у. Коришћење токова посла чини креирање имплементација и модела послуживања лаким за реплицирање и, стога, скалабилним као резултат.
У целини, Градиент обезбеђује контејнере, машине, податке, моделе, метрике, евиденције и тајне како би вам помогао да управљате различитим фазама процеса развоја модела машинског учења. Ваши цевоводи раде на Градиет кластерима. Ови кластери су или на Паперспаце Цлоуд, АВС, ГЦП, Азуре или на било ком другом серверу. Можете да комуницирате са Градијентом користећи ЦЛИ или СДК програмски.
Завршне речи
МЛОпс је моћан и свестран приступ изградњи, примени и управљању моделима машинског учења на великом нивоу. МЛОпс је једноставан за коришћење, скалабилан и безбедан, што га чини добрим избором за организације свих величина.
У овом чланку смо покрили МЛОП-ове, зашто је важно да их применимо, шта је укључено и различите популарне МЛОпс платформе.
Затим, можда ћете желети да прочитате наше поређење Датарицкс-а и Сновфлаке-а.