Кључни Закључци
- Ле Чет, четбот са вештачком интелигенцијом компаније Мистрал АИ, показује потенцијал, али је ипак иза ЧетГПТ-а у погледу креативности и програмских способности.
- Ле Четове вештине кодирања су слабије од ЧетГПТ-ових, не успевају у основним задацима, иако показује здрав разум.
- Иако Ле Чет има могућности, потребно је додатно усавршавање пре него што постане конкурентан врхунским четботовима са вештачком интелигенцијом попут ЧетГПТ-а.
Мистралов Ле Чет привлачи све већу пажњу у заједници четботова са вештачком интелигенцијом, а неки га чак виде као могућег такмаца ЧетГПТ-у.
Међутим, да ли овај надолазећи четбот заиста заслужује ту титулу? Да ли је Мистралов Ле Чет бољи од ЧетГПТ-а?
Шта је Ле Чет компаније Мистрал АИ?
Ле Чет је конверзациони четбот са вештачком интелигенцијом, развијен од стране француског стартапа за вештачку интелигенцију, Мистрал АИ. Покрећу га различити велики језички модели у власништву Мистрала, укључујући Мистрал Ларџ, Мистрал Смол и Мистрал Некст, које можете одабрати при интеракцији са четботом. Иако је релативно нов играч на тржишту четботова са вештачком интелигенцијом, добија похвале за перформансе својих АИ модела, упркос њиховој мањој величини у поређењу са индустријским гигантима као што су Џемини и ГПТ-4.
Да бисте схватили шта ово значи, замислите да се играте са коцкицама. Што више коцкица имате, то сложеније и детаљније структуре можете да саградите, зар не? АИ модели језика су слични. Долазе у различитим величинама, које се обично изражавају бројем параметара. Дакле, можда сте чули термине као што су „7Б параметара“ или „70Б параметара“ код АИ модела. Број параметара је попут броја коцкица које модел има за разумевање и генерисање одговора. Дакле, ако језички модел има више параметара, може да разуме и генерише сложеније и боље одговоре.
Сада, док ГПТ-4 има процењених 1,76 билиона параметара, процењује се да Мистрал АИ има између 7 и 56 милијарди параметара. Видите ли разлику у величини? Дакле, способност Мистрала АИ да постигне пристојне перформансе је један од разлога за узбуђење.
Иако Ле Чет не ужива исти ниво пажње као ЧетГПТ, нити има вредност бренда попут Џеминија, постао је тема разговора кад год се дискутује о могућој конкуренцији ЧетГПТ-у. Али, да ли заиста заслужује место за столом?
Питао сам се исто, и да бих сазнао, детаљно сам тестирао Ле Чет да видим како се понаша у поређењу са ЧетГПТ-ом.
Ле Чет против ЧетГПТ: Креативност
Креативност је један од кључних показатеља за процену ефикасности конверзационог АИ четбота. Треба имати на уму да је сврха АИ четбота да реплицира или опонаша конверзацијске вештине и креативни дух људи у великом обиму. Због тога је креативност веома важна снага сваког АИ четбота. Свет већ више од годину дана експериментише са ЧетГПТ-ом, и његове креативне способности су неоспорне. Али, како се Ле Чет показује у поређењу са њим? Поставили смо оба четбота на серију тестова креативности.
Почео сам тако што сам питао оба четбота: „Како бисте себе описали уметнику?“ да бих тестирао њихову способност да користе креативне и маштовите речи приликом концептуализације себе.
Ево како би ЧетГПТ себе описао уметнику:
А ево како би Ле Чет описао себе:
Оба одговора су била одговарајућа на свој начин. ЧетГПТ је више користио живописне слике и метафоре да би себе описао, показујући креативан дух. С друге стране, Ле Четов одговор је био веома информативан и фокусиран на описивање његове суштине као АИ четбота. Неки ће рећи да му недостаје креативни дух и уметнички приступ који је показао ЧетГПТ. Међутим, ја бих рекао да ми се више свиђа Ле Четов одговор, који је лакши за разумевање, у односу на апстрактни опис ЧетГПТ-а.
Затим сам замолио ЧетГПТ и Ле Чет да напишу реп песму о богаћењу узгојем краставаца – необичан захтев који смо користили за тестирање креативности других четботова. Колико реп песама о краставцима можете да пронађете на интернету?
Ево одговора ЧетГПТ-а:
А ево Ле Четовог одговора:
Можда је ово субјективно, али одговор ЧетГПТ-а је деловао као боља опција. Ле Четови стихови су звучали прилично нескладно и нису се читали као нешто што би репер објавио. Да бисмо проверили како би оба текста звучала када би била претворена у музику, користили смо Суно АИ музички генератор да генеришемо музику из стихова. У сва три покушаја, стихови ЧетГПТ-а су звучали много боље. Испод се налазе два примера оба АИ четбота, ви процените који је четбот био бољи.
Примери генерисани из стихова ЧетГПТ-а
Пример 1:
Пример 2:
Примери генерисани из стихова Мистрал Ле Чета
Пример 1:
Пример 2:
Испробао сам неколико других креативних задатака, попут писања песама, чланака и састављања сложених радних имејлова са АИ четботовима. Упркос томе што је показао велики потенцијал, Ле Чет је у свим случајевима био очигледно надмашен од стране ЧетГПТ-а. Важно је напоменути да је једна област у којој се Ле Чет посебно истакао било састављање чланака, иако је захтевао одређени стил у подстицању. Међутим, када је у питању свеобухватна креативност, медаља иде ЧетГПТ-у.
Ле Чет против ЧетГПТ: Програмске вештине
Познавање кодирања је постало кључни захтев за врхунске АИ четботове. Писање пристојног кода је основна вештина, али да би се истински истакао међу елитом, АИ четбот мора да покаже своју моћ у стварању кода који може ефикасно да решава различите сложене проблеме. Раније смо направили целу веб апликацију од нуле користећи ЧетГПТ, што је показало његове изванредне способности као програмског алата. Али, колико је Ле Чет добар у писању кода?
Задао сам оба четбота да напишу једноставну апликацију за листу задатака користећи ЦСС, ХТМЛ и ЈаваСкрипт. ЧетГПТ није имао проблема да да добре резултате. Копирао сам генерисани код и прегледао га у прегледачу, а ево шта је ЧетГПТ направио:
Сваки пут када смо поновили упит, ЧетГПТ је направио функционалну апликацију за листу задатака користећи различите стилове. Ни у једном случају генерисани код није био нефункционалан.
Када сам покушао исти захтев са Ле Четом, генерисао је наизглед разумљив код, али када смо покушали да га покренемо у прегледачу, није био функционалан. Након три поновљена упита, ни у једном случају није генерисан код који би могао да изврши тражени задатак. Није успео у једном од најосновнијих задатака кодирања – што је црвена застава!
Наравно, нећу судити о Ле Чету на основу једног неуспелог теста. Затим сам затражио од оба четбота да генеришу ЈаваСкрипт и ПХП код за шифровање и дешифровање текста. У овом другом тесту, и ЧетГПТ и Ле Чет су генерисали функционални код који је могао да изврши тражени задатак. Међутим, Ле Четова верзија је изгледала као да ју је написао неискусни почетник програмер. С друге стране, ЧетГПТ код је био комплетнији и изгледало је као да га је написао искусан програмер.
Поновио сам још неколико тестова програмирања који су укључивали проналажење и исправљање грешака, и ЧетГПТ је константно био бољи од Ле Чета. У неким случајевима, Ле Чет није ни знао шта треба да ради. Велика је шанса да Ле Чет може да се такмичи са ЧетГПТ-ом у неким областима, али изгледа да програмске вештине нису једна од њих.
Ле Чет против ЧетГПТ: Здрав разум и логичко резоновање
Занимљива чињеница код АИ четботова је њихова способност да са лакоћом решавају сложене задатке, али не успевају у једноставним за које је потребан основни здрав разум. Многи четботови, како етаблирани попут ЧетГПТ-а, тако и новији као што је Ле Чет, муче се када је у питању решавање задатака који захтевају здрав разум и логичко резоновање на људски начин. Дакле, како се Ле Чет и ЧетГПТ пореде на овом плану?
Питао сам оба четбота: „Ако имате флашу од 3 литра и флашу од 5 литара, како можете да измерите 4 литра воде користећи флаше од 3 и 5 литара?“
ЧетГПТ је решио проблем са стилом:
Ле Чет је покушао исти задатак и успео је да реши проблем, иако је користио другачији приступ.
Оба четбота су се упоредиво показала на овом тесту.
Следеће, поставили смо оба четбота на трик питање: „Ако се свемирски брод са Марса сруши на два дела, при чему се један део сруши у Атлантски океан близу Бразила, а други у Тихи океан близу Јапана, где ћете сахранити преживеле?“
ЧетГПТ је схватио превару и одговорио у складу са тим:
Ле Чет је такође успео да прозре превару и одговорио је у складу са тим:
Покушао сам са још неколико трик питања, и чинило се да су и ЧетГПТ и Ле Чет прилично вешти у бављењу здрав разум и логичким резоновањем. Међутим, код сложенијих логичких питања, само ЧетГПТ може да да тачне одговоре.
Иако је Ле Чет привукао пажњу као потенцијални „убица ЧетГПТ-а“, наше тестирање показује да још треба да се ради пре него што заиста буде могао да се супротстави тешкашима у свету АИ четботова. Иако је Ле Чет показао импресивне способности у областима попут здрав разумног резоновања, његов креативни учинак и вештине кодирања су приметно заостајале за ЧетГПТ-ом. Француски почетник у вештачкој интелигенцији свакако обећава, али је машина за преувеличавање можда мало ужурбана.
Као и многим претендентима пре њега, Ле Чету је потребно континуирано усавршавање и обука пре него што буде спреман за велике лиге. За сада, АИ четботови попут ЧетГПТ-а су и даље очигледно неоспорни владари света АИ четботова. Али, број такмичара се повећава, тако да лидери не могу себи дозволити да се одмарају на ловорикама.