Комплетан водич за откривање плагијата АИ цхатбот-а

Veštački inteligentni četbotovi, poput ChatGPT-a, nisu samo tu da odgovaraju na vaša pitanja. Oni mogu stvarati tekstove slične ljudskim, uključujući mejlove, propratna pisma, eseje, poeziju, objave na blogovima i još mnogo toga.

Pisanje uz pomoć veštačke inteligencije je poput kameleona – tako se dobro stapa sa drugim stilovima pisanja da je ponekad teško uočiti razliku.

Nažalost, nama ljudima je izuzetno teško da prepoznamo kada je veštačka inteligencija napisala tekst umesto čoveka. Naravno, mogli bismo se voditi savetom Šerloka Holmsa i „eliminisati nemoguće“, ali ko ima vremena za to?

Šta ako vam kažem da je gornji pasus napisala veštačka inteligencija? Tačno, zamolio sam YouWrite da sastavi kratak uvod za ovaj članak, i on je to uradio. Prilično ubedljivo, zar ne? To je i problem, previše je ubedljivo da bi neko mogao da ga prisvoji i predstavi kao svoje delo, radi neke koristi.

Veštačka inteligencija ne samo da parafrazira sadržaj; ona uči temu i prezentuje je prirodnim jezikom, koristeći RLHF. To znači da generisani sadržaj neće zvučati robotski niti se može lako uporediti sa podacima dostupnim online radi detekcije plagijata.

Hvatanje sadržaja koji je kreirala veštačka inteligencija nije lako, i ne želim da vam dajem lažnu nadu da ćete to moći sa stopostotnom preciznošću. Međutim, uz malo detektivskog posla i uz pomoć alata za otkrivanje AI pisanja, možete prepoznati većinu AI dela.

U nastavku ćete pronaći ručne metode za otkrivanje plagijata veštačke inteligencije, kao i neke automatske alate.

Ručno otkrivanje AI plagijata 🕵

ChatGPT nije jedini problem kada je u pitanju plagijat veštačke inteligencije. Postoji mnogo alternativnih alata koji se baziraju na istoj GPT-3 tehnologiji i dizajnirani su za pisanje. Oni su veoma napredni i posebno su pravljeni da generišu sadržaj koji zvuči ljudski, a samim tim ga je teško otkriti.

Alati za automatsku detekciju su ponekad efikasni, a ponekad ne, u zavisnosti od tipa sadržaja, njegove dužine i složenosti. Stoga, barem za sada, najbolji način je ručno povezivanje detalja kako bi se utvrdilo da li je tekst generisan veštačkom inteligencijom ili ne.

U nastavku sam naveo neke uobičajene znakove koje možete potražiti da biste otkrili sadržaj generisan od strane veštačke inteligencije.

#1. Zastarele informacije

ChatGPT i druge veštačke inteligencije zasnovane na GPT-3 imaju ograničeno znanje do kraja 2021. godine. Iako neki AI botovi imaju ugrađen pretraživač za pronalaženje najnovijih informacija, oni se i dalje oslanjaju na stare podatke kada je u pitanju pisanje dugog sadržaja, kao što su eseji ili objave na blogovima.

Ako primetite da tekst konstantno koristi zastarele podatke, posebno one pre 2021. godine, to bi mogao biti znak da je generisan pomoću veštačke inteligencije.

Na snimku ekrana ispod, zamolio sam YouWrite da mi kaže nešto o nedavnom FIFA Svetskom prvenstvu, i evo šta sam dobio.

Pominje se Svetsko prvenstvo 2018. umesto nedavnog iz 2022. Iako je alat ažuriran da govori o novijim događajima, kao što je Svetsko prvenstvo u fudbalu 2022, za pisanje dužih objava i dalje se koristi stara baza podataka na kojoj je izgrađen.

#2. Koristi istu strukturu rečenica za opise

Kada piše opise više proizvoda/aplikacija, veštačka inteligencija obično koristi sličnu strukturu rečenica, koju prilagođava kako bi odgovarala opisu proizvoda. Opisi obično počinju istom rečju, kao što su „The“, „It“, „A“ ili naziv proizvoda. Opisi takođe imaju određeni fokus koji se ponavlja.

Na primer, u nastavku sam zamolio ChatGPT da mi kaže nešto o „vebsajtovima za poslove unosa podataka“. Možete videti da svi opisi počinju sa „A“ i imaju specifičan fokus.

Postavio sam isto pitanje YouChat-u, i on je uradio istu stvar, ponavljajući ime svake veb stranice na početku, a sami opisi izgledaju kao parafrazirane verzije jedni drugih.

Ako tekst koji analizirate sadrži opise nečega slične prirode, to je dobar način da prepoznate AI pisanje.

#3. Koristi kratke rečenice

U većini slučajeva, veštačka inteligencija će koristiti rečenice od jednog reda, sa najviše jednim zarezom. Možda pokušavaju da smanje mogućnost greške, ali izbegavaju pisanje dugih rečenica koje mogu zahtevati upotrebu dvotačke, tačke i zareza ili dugačke crte.

Znam da ovo nije najbolji znak za prepoznavanje AI pisanja, ali vredi ga imati na umu kao dodatan dokaz za vašu sumnju.

#4. Može da pruži netačne informacije

Kada su u pitanju složena pitanja koja obično uključuju neke instrukcije, veštačka inteligencija može propustiti da razume suštinu i pruži netačne informacije. Ovde ne govorim o zastarelim informacijama, već o tome da će vam samouvereno reći netačne informacije kada ne razumeju temu.

Na primer, zamolio sam YouWrite da mi kaže „kako da rutujem Android telefon bez računara“. I dalje mi je prikazivao metode koje su podrazumevale korišćenje računara u nekom trenutku.

#5. Ne dodaje lično mišljenje

Kada govori o nečemu, veštačka inteligencija samo navodi poznate činjenice. Za razliku od ljudi, neće govoriti o svojim ličnim iskustvima. Iako se od veštačke inteligencije može tražiti da kreira praktičan tekst, ona uglavnom izbegava da to radi po defaultu.

Ako primetite da tekst govori samo o opšte poznatim činjenicama, velika je šansa da ga je napisala veštačka inteligencija. Na primer, kada govori o nekoj aplikaciji, opisaće njene funkcije umesto da opiše kako je navigacija glatka ili kako se aplikacija koristi u praksi.

#6. Kratka objašnjenja

Pošto je znanje veštačke inteligencije ograničeno na ono što je trenutno dostupno, ona ima tendenciju da piše kratka objašnjenja i opise. Po mom iskustvu, kada govore o određenoj temi – kao što je rutovanje Androida – njihovo objašnjenje se zadržava na maksimalno 2-3 pasusa. A kada su u pitanju stvari kao što su aplikacije ili proizvodi, opis obično ne prelazi 1 pasus.

Ljudi mogu detaljno da pišu o nečemu, uključujući funkcije, ograničenja, lična iskustva, cene itd. S druge strane, veštačka inteligencija se obično fokusira na glavne funkcije ili najvažnije stvari, pa je i pisanje kratko. Ako se zatraži više detalja, šansa za netačne informacije se značajno povećava.

#7. Proverite istoriju pisca

Ako ste nastavnik ili administrator vebsajta, i imate pristup prethodnim radovima ili zadacima pisca, možda bi bilo dobro da ih uporedite sa tekstom u koji sumnjate. Malo je verovatno da pisac ima sličan stil pisanja kao veštačka inteligencija. Iako veštačka inteligencija može da menja ton pisanja, stilovi koje bira su prilično generički i ne može da kopira vaš ton.

Uzmimo za primer pasus koji je generisala veštačka inteligencija u uvodu ovog teksta. Svako ko je pročitao moje prethodne objave lako može uočiti da je moj stil pisanja potpuno drugačiji u poređenju sa njim.

Dovoljno je da pročitate 2-3 prethodna rada pisca i vidite da li se poklapa sa stilom pisanja sumnjivog teksta.

Alati za otkrivanje AI plagijata

Postoji veliki broj dostupnih alata koji mogu da otkriju sadržaj koji je napisala veštačka inteligencija. Međutim, njihova preciznost varira i mogu da omanu u zavisnosti od tipa sadržaja i njegove dužine.

Testirao sam ove alate koristeći različite tipove sadržaja koje su generisali ChatGPT, GPT-3 Playground, WriteSonic, Rytr i YouWrite. Uspeli su da otkriju sve tipove sadržaja koje su generisali ChatGPT i GPT-3 Playground.

Iako su imali mešovite rezultate za namenske alate za pisanje, zanimljivo je da niko nije uspeo da otkrije YouWrite. Pretpostavljam da je to zato što YouWrite pravi greške slične ljudskim kako bi izbegao detekciju.

Preporučujem da koristite ove alate uz ručnu proveru sadržaja. Prvo analizirajte sadržaj pomoću nekog od ovih alata, a zatim ručno proverite da li ima znakova da biste dodatno potvrdili sumnju.

U nastavku navodim one koji su dali najbolje rezultate i koji su najlakši za korišćenje:

Napomena: Za demonstraciju ću koristiti generisani tekst od strane WriteSonic-a o „Prednostima manga“.

#1. Content At Scale

Otkrio sam da je detektor AI sadržaja od strane Content At Scale najprecizniji u većini testova koje sam uradio. Omogućava vam da skenirate do 2500 znakova po skeniranju i daje predviđanje u procentima koji pokazuju da li je sadržaj pravi ili lažan.

Možete sa sigurnošću pretpostaviti da je sadržaj koji je više od 60% lažan, napisan pomoću veštačke inteligencije, ili barem većim delom. Na donjem snimku ekrana možete videti da je 96% sadržaja lažno, što sam u potpunosti generisao pomoću veštačke inteligencije.

#2. GPTZero

Ako želite da vidite tačno koji deo sadržaja je generisala veštačka inteligencija, onda je GPTZero dobra opcija. GPTZero ne daje ocenu sadržaja. Umesto toga, naglašava tačan sadržaj koji je verovatno generisala veštačka inteligencija.

Iako prikazuje rezultate o zbunjenosti i raspadanju kako biste stekli ideju o slučajnosti u tekstu, važnije od svega, podržava 5000 znakova po skeniranju i takođe može da otprema datoteke. Skeniranje velikog sadržaja uveliko pomaže u poboljšanju preciznosti.

#3. GPT-2 Output Detector

Kreatori ChatGPT-a takođe nude bot za otkrivanje sopstvenog rada. Pošto se GPT-2 i GPT-3 razlikuju samo u ukupnim podacima koji se koriste za obuku, ovaj GPT-2 detektor radi dobro i za veštačke inteligencije zasnovane na GPT-3.

Ne postoji ograničenje količine sadržaja koji može da skenira, tako da je savršen za otkrivanje veoma dugog sadržaja generisanog pomoću veštačke inteligencije. Takođe, smatram da je preciznost dobra, posebno za sadržaj koji generiše ChatGPT. Međutim, malo je neprecizan u predviđanjima, pa uzmite u obzir njegove rezultate samo ako pokaže da je više od 50% sadržaja lažno.

#4. Writer AI Content Detector

Rezultati detektora sadržaja od strane Writer AI su sumnjivi kada se otkriva sadržaj iz alata za pisanje pomoću veštačke inteligencije, ali odlično funkcioniše za sadržaj koji generiše ChatGPT. Možete skenirati 1500 znakova po skeniranju, pa čak i dodati URL sadržaja ako je već objavljen.

Za moj testni tekst generisan pomoću veštačke inteligencije, rečeno je da je 94% sadržaja generisano od strane ljudi, što je prilično loše u poređenju sa drugim alatima. Uprkos tome, vredi ga koristiti za otkrivanje ChatGPT sadržaja, posebno ako je već objavljen.

#5. Draft & Goal

Jednostavan, ali moćan alat za detekciju pisanja pomoću veštačke inteligencije. Po mom iskustvu, Draft & Goal je dao slične rezultate kao Content At Scale, ali nema ograničenja broja reči, tako da možete da skenirate i dugačke tekstove. Međutim, vreme skeniranja se povećava u zavisnosti od toga koliko sadržaja skenirate.

Za moj primer teksta, piše da je 94% teksta generisala veštačka inteligencija.

Moje misli 💭

Lično smatram da je pomoć veštačke inteligencije odličan način da se prevaziđe blokada pisca, da se sve informacije prikupe na jednom mestu i da se pronađe inspiracija. Međutim, to nikada ne bi trebalo da zameni ljudsko pisanje, jer je veštačka inteligencija ograničena na već poznato znanje.

Takođe, možete istražiti neke od najboljih alata za proveru plagijata kako biste sprečili kopiranje.