Sa pojavom velikog broja četbotova dostupnih na internetu, može biti izuzetno izazovno odabrati onaj koji najbolje odgovara vašim specifičnim potrebama. Iako je moguće ručno upoređivati dva po dva četbota, takav pristup zahteva značajno vreme i trud.
Znatno efikasniji i jednostavniji pristup je upotreba platforme Chatbot Arena, koja omogućava poređenje različitih velikih jezičkih modela (LLM) koji pokreću popularne četbotove. Ova platforma nudi nekoliko načina za upoređivanje različitih modela, koje ćemo detaljno objasniti u nastavku.
Šta je Chatbot Arena?
Chatbot Arena, kreirana od strane LMSYS Org, predstavlja platformu namenjenu za benchmark testiranje i poređenje različitih LLM-ova. Ova platforma koristi Elo sistem rangiranja kako bi odredila performanse različitih modela.
Chatbot Arena nudi korisnicima više načina da uporede i ocene LLM-ove. Na osnovu povratnih informacija koje korisnici pružaju, Chatbot Arena kreira javnu tabelu koja prikazuje rangiranje različitih LLM-ova. Projekat je sponzorisan od strane Hugging Face, open-source alternative ChatGPT-u.
Kako uporediti anonimne LLM-ove pomoću Chatbot Arene
Režim „Borba“ na Chatbot Areni omogućava vam anonimno poređenje LLM-ova. Na primer, možete uporediti ChatGPT (GPT 3.5) i Claude. To znači da Chatbot Arena sama bira dva jezička modela i, bez otkrivanja njihovih imena, omogućava vam da ih uporedite.
Kada unesete prvi upit, Chatbot Arena generiše odgovore od oba modela, prikazujući ih jedan pored drugog. Platforma vam omogućava da ponovo generišete odgovore (za oba LLM-a) i da obrišete istoriju, kako biste započeli novi razgovor. Možete nastaviti sa postavljanjem pitanja sve dok ne izaberete jasnog pobednika.
Nakon toga, možete odabrati da li je model A bolji ili model B. Prilikom odabira pobednika, Chatbot Arena otkriva imena oba bota. Ovaj režim je veoma koristan jer vaša odluka nije pod uticajem prethodnih predrasuda ili popularnosti modela. Chatbot Arena takođe omogućava prilagođavanje parametara kao što su temperatura, Top P i maksimalni broj izlaznih tokena.
Kako uporediti odabrane LLM-ove pomoću Chatbot Arene
Ukoliko želite da uporedite dva specifična LLM-a, možete koristiti režim poređenja na Chatbot Areni. Osim činjenice da sami birate LLM-ove, ovaj režim radi gotovo identično kao i režim „Borba“. Možete podešavati parametre, regenerisati odgovore, brisati istoriju razgovora i na kraju izabrati pobednika.
Međutim, broj LLM-ova dostupnih u ovom režimu je ograničen. Možete birati između različitih verzija Llama 2, Vicuna i ChatGLM modela. Iako popularni LLM-ovi kao što su GPT-4, GPT-3.5, Claude 1, Claude 2, itd., trenutno nisu dostupni u ovom režimu, Chatbot Arena planira da ih uskoro doda.
Poređenje LLM-ova pomoću Chatbot Arene
Bez obzira da li želite da pronađete najpogodniji četbot za vaše potrebe ili jednostavno želite da testirate različite LLM-ove, Chatbot Arena je odlična platforma za tu svrhu.
Ona pruža jednostavan način za upoređivanje različitih jezičkih modela jedan pored drugog. Takođe, zahvaljujući rang listi zasnovanoj na povratnim informacijama korisnika, možete direktno videti rangiranje različitih modela bez potrebe da sami sprovodite testiranja.