Иако корисници веома цене ЦхатГПТ због обиља информација које пружа, власници веб страница често имају другачији став.
ЦхатГПТ, производ компаније ОпенАИ, користи веб претраживаче за прикупљање података са различитих веб локација. Међутим, ако сте власник веб странице и не желите да ОпенАИ-ов робот приступа вашој локацији, постоји неколико начина да то спречите.
Како функционише ОпенАИ индексирање?
Веб индексирач, познат и као паук или бот, је програм који аутоматски претражује интернет у потрази за информацијама. Затим те информације организује и представља на начин који је лак за приступ вашем претраживачу.
Ови индексирачки програми прегледају сваку страницу сваке релевантне УРЛ адресе, обично се фокусирајући на веб локације које су најрелевантније за ваше упите. На пример, ако претражујете конкретну грешку у оперативном систему Виндовс, веб индексирач вашег претраживача ће прегледати УРЛ-ове са веб локација које се сматрају најмеродавнијим за ту тему.
ОпенАИ-ов веб претраживач, назван ГПТБот, према ОпенАИ документацији, може допринети обуци АИ модела, чинећи их сигурнијим и тачнијим, а такође може проширити њихове могућности.
Како спречити ОпенАИ да индексира вашу веб локацију
Као и већина других веб претраживача, ГПТБоту се може забранити приступ вашој веб локацији модификовањем robots.txt протокола (такође познатог као протокол за изузимање робота). Ова .txt датотека се налази на серверу ваше веб локације и контролише како се веб индексатори и други аутоматизовани програми понашају приликом приступа вашој локацији.
Ево кратке листе шта robots.txt датотека може да уради:
- Може у потпуности блокирати ГПТБот да приступа вашој веб локацији.
- Може блокирати приступ одређеним страницама на вашој веб локацији од стране ГПТБота.
- Може навести ГПТБот које линкове може пратити, а које не може.
Ево како можете контролисати шта ГПТБот може да ради на вашој веб локацији:
Потпуно блокирање ГПТБот приступа вашој веб локацији
- Направите robots.txt датотеку и отворите је помоћу било ког уређивача текста.
- У robots.txt датотеку ваше веб локације додајте следеће:
User-agent: GPTBot
Disallow: /
Блокирање приступа само одређеним страницама од стране ГПТБота
- Направите robots.txt датотеку и отворите је помоћу било ког уређивача текста.
- У robots.txt датотеку ваше веб локације додајте следеће:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Међутим, имајте на уму да промена robots.txt датотеке не делује ретроактивно, те се не може вратити никаква информација коју је ГПТБот можда већ преузео са ваше веб локације.
ОпенАИ омогућава власницима веб локација да се искључе из процеса индексирања
Откако су веб претраживачи почели да се користе за обуку АИ модела, власници веб локација траже начине да задрже своје податке приватним.
Неки су забринути да АИ модели у суштини краду њихов рад и чак приписују смањење посета веб сајту чињеници да сада корисници могу да добију информације без потребе да посећују њихове веб странице.
На крају крајева, одлука о томе да ли ћете у потпуности блокирати АИ цхат ботове да индексирају ваше веб странице је у потпуности на вама.