Матрица конфузије је алат за процену перформанси типа класификације надзираних алгоритама машинског учења.
Преглед садржаја
Шта је матрица конфузије?
Ми, људи, ствари доживљавамо другачије – чак и истину и лаж. Оно што мени може изгледати као линија од 10 цм, вама може изгледати као линија од 9 цм. Али стварна вредност може бити 9, 10 или нешто друго. Оно што претпостављамо је предвиђена вредност!
Како људски мозак размишља
Баш као што наш мозак примењује сопствену логику да нешто предвиди, машине примењују различите алгоритме (зване алгоритми машинског учења) да би дошли до предвиђене вредности за питање. Опет, ове вредности могу бити исте или различите од стварне вредности.
У свету конкуренције, желели бисмо да знамо да ли је наше предвиђање исправно или не да бисмо разумели наш учинак. На исти начин, можемо одредити перформансе алгоритма машинског учења према томе колико је предвиђања тачно направио.
Дакле, шта је алгоритам машинског учења?
Машине покушавају да дођу до одређених одговора на проблем применом одређене логике или скупа инструкција, названих алгоритми машинског учења. Алгоритми машинског учења су три типа – надгледани, ненадгледани или појачани.
Типови алгоритама машинског учења
Надгледају се најједноставнији типови алгоритама, где већ знамо одговор, а ми обучавамо машине да до тог одговора дођу тако што обучавамо алгоритам са пуно података – исто као што би дете разликовало људе различитих старосних група гледајући њихове особине изнова и изнова.
Надгледани МЛ алгоритми су два типа – класификација и регресија.
Класификациони алгоритми класификују или сортирају податке на основу неког скупа критеријума. На пример, ако желите да ваш алгоритам групише купце на основу њихових преференција за храну – оне који воле пицу и оне који не воле пицу, користили бисте класификациони алгоритам као што је дрво одлучивања, случајна шума, наивни Баиес или СВМ (Подршка). Векторска машина).
Који од ових алгоритама би најбоље урадио посао? Зашто бисте изабрали један алгоритам у односу на други?
Унесите матрицу конфузије…
Матрица конфузије је матрица или табела која даје информације о томе колико је тачан класификациони алгоритам у класификацији скупа података. Па, име не треба да збуни људе, али превише нетачних предвиђања вероватно значи да је алгоритам био збуњен😉!
Дакле, матрица конфузије је метод за процену перформанси класификационог алгоритма.
Како?
Рецимо да сте применили различите алгоритме на наш претходно поменути бинарни проблем: класификујте (одвојите) људе на основу тога да ли воле или не воле пицу. Да бисте проценили алгоритам који има вредности најближе тачном одговору, користили бисте матрицу конфузије. За проблем бинарне класификације (свиђа ми се/не свиђа ми се, тачно/нетачно, 1/0), матрица конфузије даје четири вредности мреже, и то:
- Право позитивно (ТП)
- Право негативно (ТН)
- Лажно позитивна (ФП)
- Лажно негативан (ФН)
Које су четири мреже у матрици конфузије?
Четири вредности одређене коришћењем матрице конфузије формирају мреже матрице.
Матричне мреже конфузије
Тачно позитивна (ТП) и истинита негативна (ТН) су вредности које је тачно предвидео класификациони алгоритам,
- ТП представља оне који воле пицу, а модел их је правилно класификовао,
- ТН представља оне који не воле пицу, а модел их је правилно класификовао,
Лажно позитивна (ФП) и лажно негативна (ФН) су вредности које класификатор погрешно предвиђа,
- ФП представља оне који не воле пицу (негативно), али је класификатор предвидео да воле пицу (погрешно позитивно). ФП се такође назива грешком типа И.
- ФН представља оне који воле пицу (позитивно), али је класификатор предвидео да не воле (погрешно негативно). ФН се такође назива грешка типа ИИ.
Да бисмо боље разумели концепт, узмимо сценарио из стварног живота.
Рецимо да имате скуп података од 400 људи који су прошли Цовид тест. Сада сте добили резултате различитих алгоритама који су одредили број Цовид позитивних и Цовид негативних људи.
Ево две матрице конфузије за поређење:
Гледајући оба, можда ћете бити у искушењу да кажете да је 1. алгоритам тачнији. Али, да бисмо добили конкретан резултат, потребне су нам неке метрике које могу мерити тачност, прецизност и многе друге вредности које доказују који је алгоритам бољи.
Метрике помоћу матрице конфузије и њихов значај
Главни показатељи који нам помажу да одлучимо да ли је класификатор направио права предвиђања су:
#1. Опозив/осетљивост
Рецалл ор Сенситивити ор Труе Поситиве Рате (ТПР) или Вероватноћа детекције је однос тачних позитивних предвиђања (ТП) и укупних позитивних резултата (тј. ТП и ФН).
Р = ТП/(ТП + ФН)
Подсећање је мера тачних позитивних резултата добијених од броја тачних позитивних резултата који су могли бити произведени. Већа вредност опозива значи да има мање лажних негативних резултата, што је добро за алгоритам. Користите опозив када је важно знати лажне негативне резултате. На пример, ако особа има вишеструке блокаде у срцу и модел показује да је потпуно добро, то би могло бити фатално.
#2. Прецизност
Прецизност је мера тачних позитивних резултата од свих предвиђених позитивних резултата, укључујући и истините и лажне позитивне.
Пр = ТП/(ТП + ФП)
Прецизност је веома важна када су лажни позитивни резултати превише важни да би се игнорисали. На пример, ако особа нема дијабетес, али модел то показује, а лекар преписује одређене лекове. Ово може довести до озбиљних нежељених ефеката.
#3. Специфичност
Специфичност или истинита негативна стопа (ТНР) су тачни негативни резултати добијени од свих резултата који су могли бити негативни.
С = ТН/(ТН + ФП)
То је мера колико добро ваш класификатор идентификује негативне вредности.
#4. Прецизност
Тачност је број тачних предвиђања од укупног броја предвиђања. Дакле, ако сте тачно пронашли 20 позитивних и 10 негативних вредности из узорка од 50, тачност вашег модела ће бити 30/50.
Тачност А = (ТП + ТН)/(ТП + ТН + ФП + ФН)
#5. Преваленција
Преваленција је мера броја позитивних резултата добијених од свих резултата.
П = (ТП + ФН)/(ТП + ТН + ФП + ФН)
#6. Ф Сцоре
Понекад је тешко упоредити два класификатора (модела) користећи само Прецисион и Рецалл, који су само аритметичке средине комбинације четири мреже. У таквим случајевима можемо користити Ф Сцоре или Ф1 Сцоре, што је хармонијска средина – што је тачније јер не варира превише за екстремно високе вредности. Виши Ф резултат (максимално 1) указује на бољи модел.
Ф резултат = 2*Прецизност*Опозив/ (Опозив + прецизност)
Када је од виталног значаја водити рачуна и о лажно позитивним и лажним негативним резултатима, Ф1 резултат је добар показатељ. На пример, они који нису позитивни на ковид (али алгоритам је то показао) не морају бити непотребно изоловани. На исти начин, они који су позитивни на Цовид (али алгоритам је рекао да нису) морају бити изоловани.
#7. РОЦ криве
Параметри као што су тачност и прецизност су добри показатељи ако су подаци избалансирани. За неуравнотежен скуп података, висока прецизност не мора нужно значити да је класификатор ефикасан. На пример, 90 од 100 ученика у групи зна шпански. Сада, чак и ако ваш алгоритам каже да свих 100 зна шпански, његова тачност ће бити 90%, што може дати погрешну слику о моделу. У случајевима неуравнотежених скупова података, метрике као што је РОЦ су ефикаснији одређивање.
Пример РОЦ криве
РОЦ (оперативна карактеристика пријемника) крива визуелно приказује перформансе бинарног модела класификације на различитим праговима класификације. То је дијаграм ТПР-а (Труе Поситиве Рате) у односу на ФПР (Фалсе Поситиве Рате), који се израчунава као (1-специфичност) на различитим вредностима прага. Вредност која је најближа 45 степени (горе лево) на графикону је најтачнија гранична вредност. Ако је праг превисок, нећемо имати много лажних позитивних резултата, али ћемо добити више лажних негатива и обрнуто.
Генерално, када се нацрта РОЦ крива за различите моделе, бољи модел се сматра онај који има највећу површину испод криве (АУЦ).
Хајде да израчунамо све метричке вредности за наше матрице конфузије Класификатора И и Класификатора ИИ:
Метричко поређење за класификаторе 1 и 2 анкете о пици
Видимо да је прецизност већа у класификатору ИИ, док је тачност нешто већа у класификатору И. На основу проблема који је у питању, доносиоци одлука могу да изаберу класификаторе И или ИИ.
Н к Н матрица конфузије
До сада смо видели матрицу конфузије за бинарне класификаторе. Шта ако постоји више категорија осим само да/не или свиђа/не свиђа ми се. На пример, ако је ваш алгоритам био да сортирате слике црвене, зелене и плаве боје. Ова врста класификације се назива вишекласна класификација. Број излазних варијабли такође одлучује о величини матрице. Дакле, у овом случају, матрица конфузије ће бити 3×3.
Матрица конфузије за вишекласни класификатор
Резиме
Матрица конфузије је одличан систем евалуације јер даје детаљне информације о перформансама класификационог алгоритма. Добро функционише за бинарне и вишекласне класификаторе, где постоји више од 2 параметра о којима треба водити рачуна. Лако је визуализовати матрицу конфузије, а можемо генерисати све остале метрике перформанси као што су Ф резултат, прецизност, РОЦ и тачност користећи матрицу конфузије.
Такође можете погледати како да изаберете МЛ алгоритме за проблеме регресије.