Кључне Ствари
- Google Gemini 1.5 уводи прозор контекста од милион токена, што је знатно више од конкуренције као што су Claude и ChatGPT.
- Већи контекстни прозор доприноси бољим перформансама АИ модела и смањује могућност грешака, иако не гарантује увек потпуни успех.
- Огромни контекстни прозор Gemini 1.5 могао би довести до значајног побољшања прецизности, смањења грешака и појачаног разумевања.
Google Gemini 1.5 сада нуди импресиван прозор контекста који обухвата милион токена, остављајући иза себе директне конкуренте попут ChatGPT-a, Claude-a и других АИ четботова.
Ова надоградња делује као значајан помак и могла би Gemini-a издвојити од осталих. Тешко је у потпуности схватити њене пуне могућности, али је јасно да би огромни контекстни прозор Gemini-a могао да промени игру.
Шта је заправо контекстни прозор?
Када одговарају на ваше упите, било да је реч о објашњавању концепта или сумирању текста, АИ модели имају ограничење у количини информација које могу обрадити како би генерисали одговор. Ово ограничење у величини текста које модел може узети у обзир назива се контекстни прозор.
Да разјаснимо ово још једном аналогијом. Замислите да идете у набавку без списка за куповину. Ограничење колико намирница можете запамтити током куповине је, у овом случају, ваш контекстни прозор. Што више намирница запамтите, већа је шанса да ћете успешно обавити куповину. Слично томе, већи контекстни прозор АИ модела повећава вероватноћу да модел запамти све што му је потребно како би пружио најквалитетније резултате.
Тренутно, контекстни прозор Anthropic Claude 2.1, величине 200к, представља највећи контекстни прозор међу свим јавно доступним АИ моделима. За њим следи GPT-4 Turbo са контекстним прозором од 128к. Google Gemini 1.5, са друге стране, доноси прозор од милион контекста, што је четири пута више од било чега другог на тржишту. Ово отвара питање: зашто је прозор контекста од милион токена толико важан?
Зашто је контекстни прозор Gemini 1.5 толико значајан?
Да бисмо то боље разумели, контекстни прозор Claude AI од 200.000 значи да модел може да обради књигу од око 150.000 речи и да даје одговоре на основу ње. То је огромна количина. Међутим, Google-ов Gemini 1.5 би могао да обради чак 700.000 речи одједном!
Када убаците велики блок текста у АИ четботове као што су ChatGPT или Gemini, модел покушава да обради што је више текста могуће, али количина коју може обрадити зависи од његовог контекстног прозора. Дакле, ако имате разговор који нарасте на 100.000 речи на моделу који може да обради само 28.000, и почнете да постављате питања за која је потребно да има комплетно знање о целом разговору од 100.000 речи, модел је у неповољном положају.
Замислите да погледате само 20 минута једносатног филма, а затим од вас затраже да објасните цео филм. Колико би ваши одговори били квалитетни? Или бисте одбили да одговорите или бисте измишљали ствари, што је управо оно што би АИ четбот урадио, што би довело до АИ халуцинација.
Можда мислите да никада не бисте морали да уносите 100.000 речи у четбот, али не ради се само о томе. Контекстни прозор се не односи само на текст који уносите у АИ модел у једном захтеву. АИ модели узимају у обзир цео разговор који сте водили током сесије како би били сигурни да су њихови одговори што релевантнији.
Дакле, иако не уносите књигу од 100.000 речи, ваши разговори напред-назад и одговори које модел даје доприносе прорачуну прозора контекста. Питате се зашто ChatGPT или Google-ов Gemini стално заборављају ствари које сте му раније рекли током разговора? Вероватно им је понестало простора у прозору контекста и почели су да заборављају ствари.
Већи прозор контекста је посебно важан за задатке који захтевају дубоко разумевање контекста, као што су сумирање дугих чланака, одговарање на сложена питања или одржавање конзистентности у генерисаном тексту. Желите да напишете роман од 50.000 речи који има конзистентну причу? Желите модел који може да „гледа“ и одговара на питања на основу једносатног видео снимка? Потребан вам је већи контекстни прозор!
Укратко, већи контекстни прозор Gemini 1.5 може значајно побољшати перформансе АИ модела, смањујући халуцинације и повећавајући прецизност и способност бољег праћења инструкција.
Да ли ће Gemini 1.5 испунити очекивања?
Ако све буде текло по плану, Gemini 1.5 би могао потенцијално надмашити најбоље АИ моделе на тржишту. Међутим, с обзиром на недавне неуспехе Google-а у стварању стабилног АИ модела, паметно је бити опрезан. Само повећање контекстног прозора модела га не чини аутоматски бољим.
Користио сам Claude 2.1 са прозором контекста од 200к месецима од његовог објављивања, и једна ствар ми је јасна — већи контекстни прозор заиста може побољшати осетљивост на контекст, али проблеми са перформансама основног модела могу учинити већи контекст проблемом сам по себи.
Да ли ће Google Gemini 1.5 променити правила игре? Друштвени медији су тренутно преплављени сјајним рецензијама Gemini 1.5 од стране корисника са раним приступом. Међутим, већина ових позитивних рецензија потиче од претерано поједностављених случајева употребе. Добро место да проверите како би се Gemini 1.5 понашао у пракси је унутар Google-овог Gemini 1.5 техничког извештаја [PDF]. Извештај показује да чак и током „контролисаног тестирања“, модел није био у стању да поврати све ситне детаље докумената у оквиру величине прозора контекста.
Прозор контекста од милион токена је заиста импресиван технички подвиг, али без могућности поузданог преузимања детаља документа, већи контекстни прозор има малу практичну вредност и може чак постати узрок смањења тачности и повећања халуцинација.