Преглед садржаја
Кључне Такеаваис
- Гоогле Гемини 1.5 уводи прозор контекста од милион токена, надмашујући конкуренте као што су Цлауде и ЦхатГПТ.
- Већи контекстни прозор побољшава перформансе АИ модела и смањује грешке, али можда не гарантује општи успех.
- Већи контекстни прозор Гемини 1.5 могао би у великој мери побољшати тачност, смањити грешке и побољшати разумевање.
Гоогле Гемини 1.5 сада долази са огромним прозором контекста од милион токена, што је мање од његове директне конкуренције у ЦхатГПТ, Цлаудеу и другим АИ цхатботовима.
Звучи као огромна надоградња и могла би издвојити Близанце. Мало је тешко схватити њен пуни обим — али Близанчев огроман контекст контекст могао би да промени игру.
Шта је контекстни прозор?
Док одговарају на ваше упите, као што је објашњење концепта или сумирање текста, АИ модели имају ограничење колико података могу узети у обзир да би генерисали одговор. Ограничење величине текста које може узети у обзир назива се контекстни прозор.
Ево још једног начина да то погледате. Рецимо да идете у продавницу по намирнице без листе намирница. Ограничење колико намирница памтите када купујете је ваш контекстни прозор. Што више намирница можете запамтити, веће су шансе да не покварите своје планове за куповину. Слично томе, што је већи контекстни прозор АИ модела, веће су шансе да модел запамти све што му је потребно да би вам пружио најбоље резултате.
У време писања овог текста, контекстни прозор Антхропиц Цлауде 2.1 од 200к је највећи контекстни прозор од било којег опште доступног АИ модела. Затим следи ГПТ-4 Турбо са контекстним прозором од 128к. Гоогле Гемини 1.5 доноси прозор од милион контекста, четири пута већи од било чега на тржишту. Ово доводи до великог питања: у чему је проблем са прозором контекста од милион токена?
Зашто је контекстни прозор Гемини 1.5 велика ствар
Да би то било јасније, контекстни прозор Цлауде АИ од 200.000 значи да може да пробави књигу од око 150.000 речи и пружи одговоре на њу. То је огромно. Али Гоогле-ов Гемини 1.5 би могао да свари 700.000 речи одједном!
Када убаците велики текстуални блок у АИ цхат ботове као што су ЦхатГПТ или Гемини, он покушава да пробави што је више могуће текста, али колико може да пробави зависи од његовог контекстног прозора. Дакле, ако имате разговор који наиђе на 100.000 речи на моделу који може да издржи само 28.000, а затим почнете да постављате питања за која је потребно да има потпуно знање о целом разговору вредном 100.000 речи, намештате га да пропадне.
Замислите да гледате само 20 минута једносатног филма, али од вас се тражи да објасните цео филм. Колико би ваши резултати били добри? Или одбијате да одговорите или једноставно измишљате ствари, што је управо оно што би АИ цхатбот урадио, што би довело до АИ халуцинација.
Сада, ако мислите да никада нисте морали да уносите 100.000 речи у цхатбот, то није све разматрање. Контекстни прозор превазилази само текст којим храните АИ модел у једном промпту. АИ модели узимају у обзир цео разговор који сте водили током сесије ћаскања како би били сигурни да су њихови одговори што релевантнији.
Дакле, иако му не дајете књигу од 100.000 речи, ваши разговори напред-назад и одговори које она пружа доприносе прорачуну прозора контекста. Питате се зашто ЦхатГПТ или Гоогле-ов Гемини стално заборављају ствари које сте му рекли раније у разговору? Вероватно је понестало простора у прозору контекста и почело је да заборавља ствари.
Већи прозор контекста је посебно важан за задатке који захтевају дубоко разумевање контекста, као што је сумирање дугих чланака, одговарање на сложена питања или одржавање кохерентног наратива у генерисаном тексту. Желите да напишете роман од 50 хиљада речи који има конзистентан наратив? Желите модел који може да „гледа“ и одговара на питања у једносатној видео датотеци? Потребан вам је већи контекстни прозор!
Укратко, већи контекстни прозор Гемини 1.5 може значајно побољшати перформансе свог АИ модела, смањујући халуцинације и значајно повећавајући тачност и способност бољег праћења инструкција.
Да ли ће Гемини 1.5 испунити очекивања?
Ако све буде по плану, Гемини 1.5 би могао потенцијално надмашити најбоље АИ моделе на тржишту. Међутим, с обзиром на многе неуспехе Гугла у изградњи стабилног АИ модела, важно је погрешити на страни опреза. Само повећање контекстног прозора модела не чини модел аутоматски бољим.
Користио сам Цлауде 2.1 прозор контекста од 200к месецима од његовог објављивања, и једна ствар ми је јасна — већи контекст контекст заиста може побољшати осетљивост на контекст, али проблеми са перформансама основног модела могу учинити већи контекст проблемом његовог сопствени.
Да ли ће нам Гоогле Гемини 1.5 променити игру? Друштвени медији су тренутно пуни сјајних рецензија Гемини 1.5 од корисника са раним приступом. Међутим, већина рецензија са 5 звездица потиче од пренагљених или поједностављених случајева употребе. Добро место да проверите како би Гемини 1.5 деловао у дивљини је унутар Гугла Гемини 1.5 технички извештај [PDF]. Извештај показује да чак и током „контролисаног тестирања“, модел није могао да поврати све ситне детаље докумената у оквиру величине прозора контекста.
Прозор контекста од милион токена је заиста импресиван технички подвиг, али без могућности поузданог преузимања детаља документа, већи контекстни прозор има малу практичну вредност и може чак постати узрок опадања тачности и халуцинација.