OpenAI dispune de cel puțin doi ani de mijloacele necesare pentru amprentarea digitală (watermarking) a textului generat de ChatGPT. Dar a amânat cât de mult s-a putut folosirea acestei tehnologii pentru a nu pierde o categorie foarte numeroasă de utilizatori (elevii, studenții și tot felul de „profesioniști”), care folosesc ChatGPT pentru a genera pe repede-înainte texte convingătoare numai bune de folosit în nume propriu.
Unul din principalele motive pentru ascensiunea rapidă și popularitatea de care se bucură Chat GPT este faptul că oricine îl putea accesa pentru generare text cu un nivel foarte ridicat de complexitate, atingând tot felul de subiecte într-un stil de abordare care ar stârni invidia profesioniștilor din domeniile respective. Pe scurt, ChatGPT era un ajutor excelent pentru a trișa, la care apelezi și obții rezultatul dorit cu minim de efort, sărind peste etapele documentării manuale și chiar a înțelegerii subiectului abordat.
Dar dacă peste noapte ar apărea un instrument care să permită identificarea automată a oricărui text generat cu ChatGPT?
Tehnologia OpenAI de filigranare text, numită textGrain, adaugă un semnal statistic invizibil textului generat de model. Cu toate acestea, compania afirmă că filigranarea text și detectarea acesteia rămân tehnologii incipiente cu limitări semnificative, în timp ce abordările privind beneficiile și utilizările responsabile ale acestora continuă să se dezvolte.
Cum funcționează textGrain
Conform precizărilor OpenAI, textGrain cuplează ”generarea de token-uri cu pseudorandomness-ul cheie folosind transportul optim. Aplică cuplarea blocurilor de vocabular în loc să optimizeze independent fiecare token, păstrând în același timp probabilitățile relative originale ale token-urilor din fiecare bloc”.
Pentru detectare, sistemul folosește cheia secretă și textul observat pentru a reconstrui informațiile introduse și a căuta semnalul statistic. Detectorul nu necesită modelul care a generat textul, bugetul de generare sau cuplajul utilizat în timpul generării.
Adică, mai pe românește, nu există caractere invizibile sau cuvinte pe care să le poți „corecta” cu ușurință. Pentru a trece testul de autenticitate va trebui să rescrii/reformulezi întregi paragrafe, un efort considerabil când ai de livrat o întreagă Lucrare de Disertație din care tu, ca autor semnatar, nu înțelegi mare lucru.
OpenAI afirmă că textGrain a egalat sau a depășit performanța altor abordări testate, inclusiv SynthID pentru text. Chiar și așa, compania observă că o performanță puternică în condiții ideale nu garantează o detectare fiabilă în utilizarea de zi cu zi.
Limitări de detectare ChatGPT
Evaluările OpenAI arată că performanța de detectare variază în funcție de lungimea textului, subiect și cantitatea de editare aplicată textului.
- La o rată țintă de rezultate fals pozitive de 1%, detectorul a identificat filigrane în aproximativ 80% din pasajele cu 200 de jetoane și în aproximativ 95% din pasajele cu 400 de jetoane pentru conținut precum psihologia.
- Ratele de detectare au fost substanțial mai mici pentru matematică, unde există mai puțină flexibilitate în alegerea cuvintelor.
- Într-o evaluare a pasajelor cu 400 de jetoane, înlocuirea a 10% dintre cuvinte cu sinonime a redus detecția de la aproximativ 92% la 66%.
- Înlocuirea a 25% din cuvinte a redus detecția la 17%.
Noul watermark probabil că poate fi eliminat cu ajustări relativ puține în cazul textelor scurte, dar algoritmul devine mai dificil de păcălit în mod proporțional cu lungime textului. Așa că șansele de a trece drept autentică o lucrare creativă în care se găsesc mai multe paragrafe generate cu ChatGPT nu arată prea bine.
Introducerea mijloacelor de amprentare digitală ar putea da emoții inclusiv autorilor care au folosit în mod discreționar ChatGPT pentru redactarea lucrărilor oficiale deja publicate (ex. disertații, lucrări de licență). Odată ce este publicat de Open AI, instrumentul de detecție ar putea fi folosit la analizarea oricărui text suspectat a fi generat cu ChatGPT, creând tot felul de probleme pentru utilizatorii care au abuzat de acest instrument.
Autor
