OpenAI îmbunătățește ChatGPT cu suport pentru detectarea situațiilor de abuz sexual asupra copiilor și avertismente pentru a întrerupe comportamentele dăunătoare. Platforma oferă de acum îndrumări practice pentru dezvoltatori și instrumente și instruire de inteligență artificială pentru anchetatorii din domeniul aplicării legii.
Aceste inițiative fac parte din proiectul Child Safety Blueprint al OpenAI și adaugă la eforturile existente pentru detectarea, blocarea și raportarea abuzurilor. Compania a subliniat, de asemenea, responsabilitatea furnizorilor de tehnologie de a preveni utilizarea abuzivă a produselor lor și de a colabora cu organizațiile pentru siguranța copiilor și cu forțele de ordine.
Clasificatorul de detectare CSAM
OpenAI a dezvoltat un clasificator de imagini care folosește inteligența artificială pentru a examina semnele vizuale de abuz, atribuind scoruri imaginilor pentru a ajuta recenzorii să prioritizeze materialul suspectat pentru conținut abuziv, inclusiv scenele generate de inteligența artificială. De asemenea, mecanismul poate ajuta la identificarea imaginilor inedite care este posibil să nu fi mai fost văzute până acum.
OpenAI a declarat că acesta este primul clasificator CSAM (materiale cu potențial de abuz sexual asupra copiilor) disponibil pe scară largă, cu un semnal specific care indică dacă materialul poate fi generat de inteligența artificială. Modelul a fost instruit, evaluat și dezvoltat pentru implementare în lumea reală cu asistență din partea Centrului Național pentru Copii Dispăruți și Exploatați (NCMEC), o organizație non-profit care operează CyberTipline, un centru centralizat de raportare a exploatării online a copiilor.
Clasificatorul de detectare CSAM al OpenAI este disponibil gratuit prin intermediul API-ului OpenAI pentru organizații verificate de diferite dimensiuni. OpenAI colaborează cu Tech Coalition și ROOST pentru a partaja accesul la instrument. De asemenea, acesta susține sistemul de detectare Safer CSAM al Thorn și participă la programul Lantern al Tech Coalition pentru a partaja și primi semnale legate de exploatarea și abuzul sexual asupra copiilor online.
ChatGPT va afișa avertismente pentru întreruperea comportamentului dăunător
OpenAI introduce avertismente în ChatGPT pentru a întrerupe încercările de a găsi materiale abuzive, simultan explicând utilizatorilor consecințele și oferi îndrumări pentru a cere ajutor. Compania interzice deja CSAM-ul și își antrenează modelele să refuze solicitările aferente și ia măsuri împotriva conturilor care încalcă politicile sale.
Când este semnalată o încercare de a descoperi conținut abuziv, ChatGPT va afișa un avertisment care explică faptul că sexualizarea copiilor provoacă daune, inclusiv atunci când materialul solicitat este generat de inteligența artificială. De asemenea, va elimina conversația semnalată și va întrerupe accesul la ChatGPT timp de 24 de ore, menținând în același timp disponibil accesul la asistență specializată. Încălcările repetate pot duce la restricții mai lungi, închiderea contului sau raportări către autorități.
Îndrumări CSAM pentru dezvoltatori
OpenAI a publicat îndrumări CSAM pentru a ajuta dezvoltatorii să prevină abuzurile, să detecteze conținutul dăunător și să răspundă la cazurile suspecte. Dezvoltate cu contribuții din partea Tech Coalition, Thorn, NCMEC și Internet Watch Foundation, acestea acoperă:
- Stabilirea unor reguli clare privind conținutul și a unor mecanisme de raportare a utilizatorilor.
- Utilizarea instrumentelor de detectare și revizuirea și raportarea suspiciunilor de abuz.
- Utilizarea identificatorilor de siguranță pentru a conecta utilizarea abuzivă la utilizatori individuali.
- Sprijinirea echipelor care examinează materiale sensibile.
Dezvoltatorii pot utiliza îndrumările alături de clasificatorul de imagini și API-ul de moderare OpenAI, consola de revizuire auto-găzduită Coop de la ROOST și sistemul de detectare Safer CSAM de la Thorn.
OpenAI a colaborat, de asemenea, cu Anthropic și Google pentru a comanda împreună îndrumări privind răspunsul la dezvăluirile de exploatare și abuz sexual asupra copiilor în sistemele de inteligență artificială. Publicat de Tech Coalition, acest ghid oferă recomandări pentru dezvoltatorii care gestionează astfel de dezvăluiri. OpenAI a declarat că a observat o creștere a numărului de dezvoltatori care accesează instrumente de siguranță pentru copii și se înregistrează la NCMEC pentru a raporta abuzul sexual asupra copiilor (CSAM).
Instrumente de inteligență artificială și instruire pentru aplicarea legii
OpenAI sprijină unitățile specializate în aplicarea legii în siguranța copiilor cu instrumente și instruire bazate pe inteligență artificială. După cum s-a discutat public cu Thorn, compania a declarat că inteligența artificială poate ajuta anchetatorii să organizeze și să prioritizeze informațiile, reducând în același timp expunerea inutilă la materiale abuzive.
Asistența include plugin-uri dedicate, instrumente de investigație și analize complexe de date, accesul fiind gestionat de administratorii programului. Primul instrument de investigație îi va ajuta pe ofițeri să:
- Verificați jurnalele lungi de chat și declarațiile din procedurile legale.
- Identificați potențialele conexiuni.
- Creați cronologii cu constatări legate de materialul sursă.
Instruirea inițială va include o prezentare generală și o demonstrație a instrumentelor, împreună cu un ghid practic de teren pentru investigatori. Accesul va depinde de autorizarea agenției și de cerințele programului. OpenAI intenționează să propună instruire suplimentară la conferințe regionale, naționale și internaționale.

