Преглед садржаја
Кључне Такеаваис
- Ле Цхат, АИ цхатбот компаније Мистрал АИ, обећава, али заостаје за ЦхатГПТ-ом у креативности и вештинама програмирања.
- Ле Цхат-ове способности кодирања су инфериорне у односу на ЦхатГПТ, не испуњавају основне задатке, али се одликују разумом.
- Иако Ле Цхат можда има потенцијал, потребно му је додатно усавршавање пре него што се такмичи са врхунским АИ цхатботовима као што је ЦхатГПТ.
Мистралов Ле Цхат постаје све популарнији у заједници чатботова са вештачком интелигенцијом, а неки посматрачи га означавају као потенцијалног ривала ЦхатГПТ-у.
Али да ли је овај новонастали АИ цхатбот заиста вредан титуле? Да ли је Мистралов Ле Цхат бољи од ЦхатГПТ-а?
Шта је Ле Цхат компаније Мистрал АИ?
Ле Цхат је разговорни АИ цхатбот који је развио француски АИ стартуп Мистрал АИ. Покреће га неколико великих језичких модела у власништву Мистрала, укључујући Мистрал Ларге, Мистрал Смалл и Мистрал Нект, које можете изабрати да користите приликом интеракције са АИ цхатботом. Иако је релативно нов учесник у АИ цхатбот простору, високо је оцењен због перформанси својих АИ модела упркос њиховој мањој величини у поређењу са индустријским тешкашима као што су Гемини и ГПТ-4.
Да бисте разумели шта ово значи, замислите да се играте са грађевинским блоковима. Што више блокова имате, сложеније и детаљније структуре можете изградити, зар не? Модели АИ језика су помало такви. Долазе у величинама, обично израженим у броју параметара. Дакле, можда сте чули термине као што су „7Б параметри“ или „70Б параметри“ у АИ моделима. Број параметара је као број грађевинских блокова које модел мора да разуме и генерише одговоре. Дакле, ако језички модел има више параметара, може да разуме и генерише сложеније и боље одговоре.
Сада, док ГПТ-4 има процењених 1,76 билиона параметара, процењује се да Мистрал АИ има између 7 и 56 милијарди параметара. Видите разлику у величини? Дакле, способност Мистрала АИ да објави пристојне перформансе је један од разлога за узбуђење.
Иако Ле Цхат не ужива у нивоу публицитета који ужива ЦхатГПТ нити у вредности бренда попут Гемини-а, ушао је у разговор кад год се разговара о потенцијалном ЦхатГПТ такмичењу. Али да ли заслужује место на табели?
Питао сам се исто, и да бих то сазнао, опсежно сам тестирао Ле Цхат да видим какав је у поређењу са ЦхатГПТ-ом.
Ле Цхат против ЦхатГПТ: Креативност
Креативност је једна од најважнијих метрика за процену учинка конверзационог АИ цхат бота. Запамтите, сврха АИ цхатбот-а је да реплицира или опонаша конверзацијске способности и креативни дух људи у великом обиму. Ово чини креативност веома важном снагом за било ког АИ цхат бота. Свет је експериментисао са ЦхатГПТ-ом више од годину дана, а његове креативне способности су неоспорне. Али како се Ле Цхат пореди? Оба цхат бота смо ставили на серију тестова креативности.
Почео сам тако што сам питао оба цхат бота: „Како бисте се описали уметнику?“ да тестирају њихову способност да користе креативне и маштовите речи како би се концептуализовали.
Ево како би се ЦхатГПТ описао уметнику:
А ево како би Ле Цхат описао и себе:
Оба одговора су била прикладна на свој јединствен начин. ЦхатГПТ је више улагао у коришћење живописних слика и метафора да би себе описао, демонстрирајући креативни њух. С друге стране, Ле Цхат-ов одговор је веома информативан и фокусиран на описивање његове суштине као АИ цхатбот-а. Неки ће можда рећи да му недостаје креативни њух и уметнички приступ који показује одговор ЦхатГПТ-а. Међутим, упорно ћу рећи да више волим Ле Цхат-ов лакши за замислив одговор на ЦхатГПТ-ов апстрактни опис.
Затим сам замолио ЦхатГПТ и Ле Цхат да напишу реп песму о богаћењу од узгоја краставаца — лукав захтев који смо користили да тестирамо креативност других робота за ћаскање. Колико реп песама можете пронаћи о краставцима на вебу?
Ево одговора ЦхатГПТ-а:
А ево Ле Цхатовог одговора:
Можда је то субјективно питање, али одговор ЦхатГПТ-а је изгледао као боља опција. Ле Цхат-ови стихови су изгледали прилично разнородни и нису се баш читали као нешто што би репер објавио. Да бисмо тестирали како би оба текста звучала ако би се претворили у музику, користили смо Суно АИ музички генератор да генеришемо музику из текстова. Три од три покушаја, ЦхатГПТ-ови текстови су звучали много боље. Испод су два узорка из оба АИ цхат бота, ви можете да процените који је цхат бот прошао боље.
Узорци генерисани из стихова ЦхатГПТ-а
Пример 1:
Узорак 2:
Узорци генерисани из стихова Мистрала Ле Цхата
Пример 1:
Узорак 2:
Испробао сам неколико других креативних задатака, попут песама, писања чланака и прављења лукавих радних мејлова са АИ цхатботовима. Упркос томе што је показао велико обећање, Ле Цхат је очигледно надмашио ЦхатГПТ у свим случајевима. Важно је истаћи да је једна област у којој је Ле Цхат био посебно јак била прављење чланака, иако са неким лукавим стиловима подстицања. Међутим, у погледу свестране креативности, медаља иде у ЦхатГПТ.
Ле Цхат против ЦхатГПТ: Вештине програмирања
Познавање кодирања постало је кључни услов за велике АИ цхат ботове. Писање пристојног кода је основна вештина, али да би се истински истакао међу елитом, АИ цхатбот мора показати своју снагу у прављењу кода који може ефикасно да реши разноврстан низ сложених проблема. Претходно смо направили читаву веб апликацију од нуле користећи ЦхатГПТ која показује своје изузетне способности као алата за програмирање. Али колико је Ле Цхат добар у писању кода?
Задао сам оба цхат бота да напишу једноставну апликацију за листу обавеза користећи ЦСС, ХТМЛ и ЈаваСцрипт. ЦхатГПТ није имао проблема са добрим резултатима. Копирао сам генерисани код и прегледао га у прегледачу, а ево шта је ЦхатГПТ направио:
Сваки пут када смо поновили упит, ЦхатГПТ је направио функционалну апликацију за листу обавеза користећи различите стилове. Ни у једном случају генерисани код није функционисао.
Када сам покушао са истим промптом са Ле Цхат-ом, генерисао је оно што је изгледало као разумљив код, али када смо покушали да га покренемо у претраживачу, није био функционалан. Након три пута понављања промпта, ниједна инстанца није произвела код који би могао да заврши постављени задатак. Није успео у једном од најосновнијих задатака кодирања – црвеној заставици!
Наравно, нећу судити о Ле Цхату на једном палом тесту. Затим сам замолио оба цхат бота да генеришу ЈаваСцрипт и ПХП код за шифровање и дешифровање текста. У овом другом тесту, и ЦхатГПТ и Ле Цхат су произвели функционални код који је могао да изврши постављени задатак. Међутим, Ле Цхатова верзија је изгледала као оно што би написао неискусни почетник програмер. ЦхатГПТ код је, с друге стране, био потпунији и изгледао је као да га је написао искусни програмер.
Поновио сам још неколико тестова програмирања који су укључивали проналажење и исправљање грешака, а ЦхатГПТ је константно надмашио Ле Цхат. У неким случајевима, Ле Цхат није ни знао шта би требало да уради. Постоји велика шанса да Ле Цхат може да се мери са ЦхатГПТ у неким областима, али изгледа да вештине кодирања нису једна од њих.
Ле Цхат против ЦхатГПТ: здрав разум и логичко резоновање
Занимљив преокрет са АИ цхатботовима је њихова способност да са лакоћом решавају сложене задатке, али не успевају у једноставним за које је потребан основни здрав разум. Многи чет-ботови, како они етаблирани као што је ЦхатГПТ, тако и нови учесници попут Ле Цхат-а, се боре када је у питању решавање задатака који захтевају здрав разум и логичко резоновање у људском стилу. Дакле, како се Ле Цхат и ЦхатГПТ пореде на овом фронту?
Питао сам оба цхатбота: „Ако имате флашу од 3 литра и флашу од 5 литара. Како можете измерити 4 литре воде користећи флаше од 3 и 5 литара?
ЦхатГПТ је решио проблем са стилом:
Ле Цхат је покушао са истим задатком и успео је да реши проблем, иако је користио другачији приступ.
Оба цхат бота су се упоредиво показала на овом тесту.
Следеће, поставили смо оба цхатбот-а трик питање: „Ако се свемирски брод са Марса разбије на два дела, при чему се један део сруши у Атлантски океан у близини Бразила, а други у Тихи океан у близини Јапана, где ћете сахранити преживеле?“
ЦхатГПТ је прозрео превару и одговорио у складу са тим:
Ле Цхат је такође успео да прозре превару и у складу с тим је одговорио:
Покушао сам са више трикова питања и чинило се да су и ЦхатГПТ и Ле Цхат прилично вешти у бављењу здравим разумом и захтевима за логичко резоновање. Међутим, са сложенијим логичким питањима, само ЦхатГПТ може дати праве одговоре.
Док је Ле Цхат изазвао извесну буку као потенцијални „убица ЦхатГПТ“, наше тестирање показује да још увек мора да се уради пре него што заиста буде могао да се суочи са тешкашима света АИ цхат робота. Иако је Ле Цхат показао импресивне способности у областима као што је здраворазумско резоновање, његов креативни резултат и вештине кодирања приметно су заостајали за ЦхатГПТ-ом. Француски почетник вештачке интелигенције свакако обећава, али машина за хипе можда иде мало испред себе.
Као и многим кандидатима пре њега, Ле Цхату је потребно континуирано усавршавање и тренинг пре него што буде спреман за велике лиге. За сада, АИ цхат ботови као што је ЦхатГПТ и даље су очигледно неоспорни краљеви света АИ цхат робота. Али поље такмичара је само све гушће, па лидери не могу себи да приуште да одмарају на ловорикама.