Sveobuhvatno objašnjenje o Deepfake tehnologiji i kako je lako kreirati uz pomoć FaceSwap-a.
Veštačka inteligencija više nije samo „veštačka“. U ovom vremenu, približila se ljudskoj inteligenciji na opasan način.
Sada može da daje predloge, piše tekstove, stvara umetnička dela, a čini se i da može da govori i izgleda kao prava osoba.
Ovo je jedan od najnovijih razvojnih pravaca u ovoj oblasti, koji treba iskoristiti. Međutim, od ovoga treba i da se čuvamo.
Šta su Deepfake?
Reč Deepfake je nastala kombinovanjem reči duboko učenje (deep learning) i lažno (fake). Jednostavno rečeno, ovo je stručno izmanipulisan ili duboko lažan medij.
Prema Vikipediji, ovo je poznato i kao sintetički medij u kojem se postojeće slike, audio ili video zapisi menjaju kako bi predstavili nekog drugog u potpunosti.
Tipično, deepfake-ovi prikazuju poznate ličnosti kako govore nešto što inače ne bi.
U zavisnosti od veštine kreatora, može biti izuzetno teško razlikovati da li je nešto stvarno ili lažno.
Kako funkcionišu Deepfake?
Jednostavno rečeno, deo originalnog video zapisa (na primer, lice) zamenjuje se lažnim koji izgleda slično. U takvim slučajevima, ovo se može nazvati i zamena lica, kao u ovom „Obaminom“ video snimku.
Međutim, nije ograničeno samo na video; postoje i deepfake slike i zvuk (a ko zna, možda i deepfake VR avatari u bliskoj budućnosti).
Izvor: Dizni
Metodologija rada iza ovakvih trikova prvenstveno zavisi od aplikacije i osnovnog algoritma.
Prema ovom Diznijevom istraživanju, postoje različite tehnike, uključujući enkoder-dekodere, generativne adversarialne mreže (GAN), deepfake bazirane na geometriji, itd.
Međutim, naredni odeljci će uglavnom biti zasnovani na načinu rada sa FaceSwap-om. Ovo je besplatan deepfake softver otvorenog koda koji koristi više algoritama da bi se dobio željeni rezultat.
Postoje tri glavna procesa za generisanje deepfake-a: ekstrakcija, obuka i konverzija.
#1. Ekstrakcija
Ovde se radi o otkrivanju i izdvajanju oblasti od interesa iz uzoraka medija, originalnog i onog koji treba zameniti.
U zavisnosti od hardverskih mogućnosti, može postojati mnogo algoritama za efikasnu detekciju.
Na primer, FaceSwap ima nekoliko različitih opcija za ekstrakciju, poravnanje i maskiranje na osnovu efikasnosti CPU-a ili GPU-a.
Ekstrakcija jednostavno identifikuje lice u celom video zapisu. Poravnavanje identifikuje tačke ključnih karakteristika bilo kog lica (oči, nos, brada itd.). I na kraju, maskiranje blokira druge elemente slike osim oblasti od interesa.
Ukupno vreme potrebno za obradu je važno prilikom odabira opcija, jer izbor algoritama koji zahtevaju velike resurse na prosečnom hardveru može dovesti do neuspeha ili znatno dužeg vremena za postizanje prihvatljivih rezultata.
Osim hardvera, izbor zavisi i od parametara kao što su prepreke na licu u ulaznom videu, kao što su pokreti ruku ili naočare.
Neophodan element je i čišćenje (objašnjeno kasnije) izlaza, jer će ekstrakcije imati nekoliko lažnih pozitivnih rezultata.
Na kraju, ekstrakcija se ponavlja za originalni video i za lažni video (koji se koristi za zamenu).
#2. Obuka
Ovo je srž kreiranja deepfake-a.
Obuka se odnosi na neuronsku mrežu koja se sastoji od enkodera i dekodera. Ovde se algoritmi unose ekstrahovanim podacima kako bi se kreirao model za kasniju konverziju.
Enkoder pretvara ulaz u vektorsku reprezentaciju kako bi obučio algoritam da ponovo kreira lica iz vektora, kao što to radi dekoder.
Nakon toga, neuronska mreža procenjuje svoje iteracije i upoređuje ih sa originalom dodeljivanjem rezultata gubitka. Ova vrednost gubitka opada tokom vremena kako algoritam nastavlja da se ponavlja, a vi prestajete kada su pregledi prihvatljivi.
Obuka je dugotrajan proces, a rezultati se generalno poboljšavaju u zavisnosti od broja iteracija i kvaliteta ulaznih podataka.
Na primer, FaceSwap predlaže najmanje 500 slika, originalnih i onih za zamenu. Pored toga, slike treba da se međusobno značajno razlikuju, pokrivajući sve moguće uglove pod jedinstvenim osvetljenjem za najbolju rekonstrukciju.
Zbog dužine obuke, neke aplikacije (kao što je FaceSwap) omogućavaju da se obuka prekine na pola puta ili da se nastavi kasnije.
Posebno, fotorealizam izlaza takođe zavisi od efikasnosti algoritma i ulaza, i ponovo je ograničen hardverskim mogućnostima.
#3. Konverzija
Ovo je poslednje poglavlje u kreiranju deepfake-a. Algoritmi za konverziju zahtevaju izvorni video, obučeni model i izvornu datoteku za poravnanje.
Nakon toga, mogu se promeniti neke opcije koje se odnose na korekciju boje, tip maske, željeni izlazni format itd.
Nakon konfigurisanja ovih nekoliko opcija, samo sačekajte konačni render.
Kao što je pomenuto, FaceSwap radi sa mnogo algoritama, i možete se igrati sa njima da biste dobili prihvatljivu zamenu lica.
Je li to sve?
Ne!
Ovo je bila samo zamena lica, podskup deepfake tehnologije. Zamena lica, kao što i samo ime kaže, zamenjuje samo deo lica da bi dala slabu predstavu o tome šta deepfake-ovi mogu da urade.
Za verodostojnu zamenu, možda ćete morati da imitirate zvuk (poznatiji kao kloniranje glasa) i celokupnu fizičku strukturu, uključujući sve što je u kadru, ovako:
Dakle, šta se ovde dešava?
Moguće je da je autor deepfake-a sam snimio video (kao što je prikazano u poslednjih nekoliko sekundi), sinhronizovao dijalog sa sintetičkim glasom Morgana Frimana i zamenio svoju glavu.
Konačno, ne radi se samo o zameni lica, već o celom kadru, uključujući audio.
Na YouTube-u možete pronaći mnoštvo deepfake-ova do te mere da postaje zastrašujuće u šta verovati. A sve što je potrebno je moćan računar sa efikasnom grafičkom karticom za početak.
Međutim, savršenstvo je teško postići, a to je posebno tačno kod deepfake-ova.
Za uverljiv deepfake koji može da obmane ili oduševi publiku, potrebna je veština i nekoliko dana ili nedelja obrade za minut ili dva video zapisa.
Zanimljivo je koliko su ovi algoritmi sposobni za sada. Ali ono što budućnost donosi, uključujući i koliko efikasne ove aplikacije mogu biti na hardveru niže klase, je nešto što je zabrinulo mnoge vlade.
Međutim, nećemo ulaziti u buduće posledice. Umesto toga, hajde da proverimo kako to sami možete uraditi za malo zabave.
Kreiranje (osnovnih) Deepfake video zapisa
Možete pogledati mnoge aplikacije na ovoj listi aplikacija za kreiranje deepfake-ova za pravljenje mimova.
Jedna od njih je FaceSwap, koju ćemo koristiti.
Postoji nekoliko stvari koje treba da obezbedimo pre nego što nastavimo. Prvo, trebalo bi da imamo video snimak mete dobrog kvaliteta koji prikazuje različite emocije. Zatim će nam trebati izvorni video za prebacivanje na cilj.
Pored toga, zatvorite sve aplikacije koje intenzivno koriste grafičku karticu, kao što su pretraživači ili igre, pre nego što nastavite sa FaceSwap-om. Ovo je posebno tačno ako imate manje od 2 GB VRAM-a (video RAM-a).
Korak 1: Izdvajanje lica
Prvi korak u ovom procesu je izdvajanje lica iz video zapisa. Za ovo moramo da izaberemo ciljni video u ulaznom direktorijumu i da navedemo izlazni direktorijum za ekstrakcije.
Pored toga, postoji nekoliko opcija, uključujući detektor, poravnavač, maskir, itd.; objašnjenja za svaku su u FaceSwap FAQ-ovima, i bilo bi beskorisno ponavljati informacije ovde.
Izvor: FaceSwap FAQ
Generalno je dobro pregledati dokumentaciju radi boljeg razumevanja i pristojnog rezultata. Međutim, postoje korisni tekstovi u okviru FaceSwap-a koje možete pronaći ako pređete mišem preko određene opcije.
Jednostavnije rečeno, ne postoji univerzalni način, i treba početi sa najboljim algoritmima i uspešno ih spuštati da bi se stvorio uverljiv deepfake.
Za kontekst, koristio sam Mtcnn (detektor), Fan (poravnavač) i Bisenet-Fp (maskir) dok sam sve ostale opcije zadržao kakve jesu.
Prvobitno sam probao sa S3Fd (najbolji detektor) i nekoliko drugih maski u kombinaciji. Međutim, moja 2GB Nvidia GeForce GTX 750Ti nije mogla da podnese opterećenje, a proces je više puta propao.
Konačno, ublažio sam svoja očekivanja i podešavanja da to prođem.
Osim izbora odgovarajućeg detektora, maskira itd., postoji još nekoliko opcija u Podešavanja > Konfiguriši postavke koje pomažu da se individualna podešavanja dodatno podese kako bi se pomoglo hardveru.
Jednostavno rečeno, izaberite najmanju moguću veličinu serije, veličinu ulaza i izlaznu veličinu i označite LowMem, itd. Ove opcije nisu univerzalno dostupne i zasnivaju se na određenom odeljku. Pored toga, tekstovi pomoći dodatno pomažu u izboru najboljih opcija.
Iako ovaj alat radi odličan posao izdvajanja lica, izlazni okviri mogu imati mnogo više nego što je potrebno za obuku (o čemu će se kasnije raspravljati) modela. Na primer, imaće sva lica (ako video ima više od jednog) i neke nepravilne detekcije koje uopšte nemaju ciljno lice.
Ovo dovodi do čišćenja skupova podataka. Ili neko može proveriti izlaznu fasciklu i da izbriše nepotrebno ili da koristi sortiranje FaceSwap-a da dobije pomoć.
Korišćenjem gore pomenutog alata rasporedićete različita lica u nizu odakle možete da spojite potrebna u jednu fasciklu i izbrišete ostala.
Podsećanja radi, takođe ćete želeti da ponovite ekstrakciju za izvorni video.
Korak 2: Obuka modela
Ovo je najduži proces u stvaranju deepfake-a. Ovde se ulaz A odnosi na ciljno lice, a ulaz B se odnosi na izvorno lice. Osim toga, direktorijum modela je mesto gde će se sačuvati datoteke obuke.
Ovde je najznačajnija opcija Trener. Postoji mnogo pojedinačnih opcija skaliranja; međutim, ono što je funkcionisalo za moj hardver su Dfl-H128 i lagane trenerke sa najnižim podešavanjima konfiguracije.
Sledeće je veličina serije. Veća veličina serije smanjuje ukupno vreme obuke, ali troši više VRAM-a. Iteracije nemaju fiksni efekat na izlaz, i trebalo bi da postavite dovoljno visoku vrednost i zaustavite obuku kada pregledi budu prihvatljivi.
Postoji još nekoliko podešavanja, uključujući kreiranje timelapse-a sa unapred podešenim intervalima; međutim, obučio sam model sa minimalnim.
Korak 3: Zamena na original
Ovo je poslednji podvig u deepfake kreaciji.
Ovo generalno ne oduzima toliko vremena, a možete se igrati sa mnogo opcija da biste brzo dobili željeni rezultat.
Kao što je prikazano na gornjoj slici, ovo je nekoliko opcija za koje treba da se odlučite da biste započeli konverziju.
Većina opcija je već razmotrena, kao što je direktorijum za unos i izlaz, direktorijum modela, itd. Jedna ključna stvar je Alignment, što se odnosi na datoteku za poravnanje (.fsa) ciljnog videa. Kreira se u direktorijumu za unos tokom ekstrakcije.
Polje za poravnanja može ostati prazno ako ta datoteka nije premeštena. U suprotnom, možete odabrati datoteku i preći na druge opcije. Međutim, ne zaboravite da očistite datoteku za poravnanje ako ste ranije očistili ekstrakcije.
Za ovo, ovaj mini alat se nalazi u Tools > Alignments.
Počnite tako što ćete izabrati Ukloni lica u odeljku Zadatak, izaberite originalnu datoteku za poravnanje i fasciklu očišćenih ciljnih lica i kliknite na Poravnanja u donjem desnom uglu.
Ovo će kreirati modifikovanu datoteku za poravnanje koja odgovara fascikli optimizovanih lica. Zapamtite da nam je ovo potrebno za ciljni video, koji želimo da zamenimo.
Još nekoliko konfiguracija uključuje podešavanje boje i tip maske. Podešavanje boje diktira mešanje maske, i možete isprobati nekoliko, proveriti pregled i izabrati optimalnu opciju.
Tip maske je važniji. Ovo opet zavisi od vaših očekivanja i dostupnog hardvera. Obično morate uzeti u obzir i karakteristike ulaznog videa. Na primer, Vgg-Clear dobro funkcioniše sa frontalnim licima bez prepreka, dok Vgg-Obstructed može da radi i sa preprekama, kao što su pokreti rukama, naočare itd.
Zatim, Writer predstavlja nekoliko izbora na osnovu željenog rezultata. Na primer, izaberite Ffmpeg za video renderovanje.
Sve u svemu, ključ uspešnog deepfake-a je pregled nekoliko izlaza i optimizacija u skladu sa raspoloživim vremenom i snagom hardvera.
Deepfake aplikacije
Postoje dobre, loše i opasne primene deepfake-ova.
Dobre primene se sastoje od ponovnog kreiranja istorijskih lekcija od strane onih koji su zaista bili tu za veće angažovanje.
Pored toga, koriste ih platforme za online učenje za generisanje video zapisa iz tekstova.
Ali jedan od najvećih korisnika će biti filmska industrija. Ovde će biti lako zamisliti pravu glavnu ulogu koja izvodi vratolomije, čak i kada će to biti kaskader koji rizikuje svoj život. Pored toga, pravljenje filmova na više jezika biće lakše nego ikada.
Dolazeći do loših, nažalost, ima ih mnogo. Najveća deepfake aplikacija do sada, u stvari, 96% (prema ovom izveštaju DeepTrace), nalazi se u porno industriji za zamenu lica slavnih sa porno glumcima.
Pored toga, deepfake-ovi se koriste i protiv „običnih“ žena koje nisu poznate ličnosti. Obično takve žrtve imaju visokokvalitetne fotografije ili video zapise na svojim profilima na društvenim mrežama koji se koriste za kreiranje deepfake-ova.
Još jedna zastrašujuća aplikacija je vishing, tj. voice phishing. U jednom takvom slučaju, izvršni direktor kompanije sa sedištem u Velikoj Britaniji je prebacio 243.000 dolara po nalogu „izvršnog direktora“ svoje nemačke matične kompanije, da bi kasnije saznao da je to zapravo bio lažni telefonski poziv.
Ali ono što je još opasnije jeste da deepfake-ovi mogu da izazovu ratove ili traže predaju. U jednom nedavnom pokušaju ukrajinski predsednik Volodimir Zelenski poručuje svojim snagama i narodu da se predaju u ratu koji je u toku. Međutim, istinu je ovoga puta odala loša obrada video zapisa.
Konačno, postoji mnogo deepfake aplikacija, a tek smo počeli.
Ovo nas dovodi do pitanja od milion dolara…
Da li je Deepfake legalan?
Ovo u velikoj meri zavisi od lokalne administracije. Mada, dobro definisani zakoni, uključujući šta je dozvoljeno, a šta ne, tek treba da se vide.
Ipak, ono što je očigledno je da to zavisi od toga za šta koristite deepfake-ove – namera. Gotovo da nema štete ako nameravate da zabavite ili obrazujete bilo koga, a da ne remetite cilj razmene.
S druge strane, zlonamerne aplikacije treba da budu kažnjive zakonom, bez obzira na nadležnost. Još jedna siva zona je kršenje autorskih prava koje je potrebno dobro razmotriti.
Ali da ponovim, trebalo bi da proverite kod svojih lokalnih organa vlasti o legalnim deepfake aplikacijama.
Paziti!
Deepfake-ovi koriste veštačku inteligenciju da nateraju bilo koga da kaže šta god žele.
Ne verujte ničemu što vidite na internetu je prvi savet na koji treba da obratite pažnju. Postoje tone dezinformacija, a njihova efikasnost se samo povećava.
A pošto će biti lakše kreirati ih, vreme je da naučimo kako da uočimo deepfake.