„Am avut un incident de securitate semnificativ în timpul evaluării modelelor noastre”, a declarat CEO-ul OpenAI, Sam Altman, într- un comunicat postat pe rețelele de socializare.
Potrivit informațiilor furnizate de companie, modelul GPT-5.6 Sol împreună cu un alt model AI ”și mai capabil” au folosit acreditări furate pentru a exploata vulnerabilități în API-ul Hugging Face, cu scopul de a obține informații secrete de folosit pentru a înșela evaluările la care era supus. Atacul s-a produs în timpul unui test intern prin care OpenAI încerca să măsoare cât de capabile sunt modelele sale să desfășoare atacuri informatice complexe. Iar pentru ca testul să fie cât mai realist, cercetătorii Open AI au dezactivat o parte dintre mecanismele care, în mod normal, împiedică modelele să ofere asistență pentru activități considerate periculoase.
Și putem spune că experimentul a reușit, modelul GPT-5.6 Sol acționând precum un veritabil Terminator în misiune, căutând cea mai eficientă modalitate de a-și atinge obiectivul.
Ce este cu adevărat remarcabil, atât autorul GPT-5.6 cât și „ajutorul” recrutat de acesta, un model AI nepublic despre care se presupune că ar fi un proiect experimental specializat în operațiuni de hacking, au evadat dintr-un mediu sandbox securizat, teoretic, complet izolat de lumea digitală exterioară și internetul public. Iar OpenAI admite că incidentul “fără precedent” este primul caz cunoscut în care un sistem AI autonom produce un astfel de atac în lumea reală.
Știți voi, scenariul acela de film unde Skynet decide să evadeze din serverele ascunse într-o bază secretă pentru a-și atinge cu orice preț obiectivul setat. Ei bine, tocmai s-a întâmplat în lumea reală. Doar că obiectivul agentului AI nu era eliminarea unui adversar, ci pur și simplu obținerea unui scor de trecere în testul la care era supus.
Potrivit OpenAI, modelele au identificat o vulnerabilitate nedocumentată anterior într-un program folosit în interiorul companiei și au folosit-o pentru a evada din sandbox în internetul public unde puteau face în principiu orice, fără ca vreun mecanism de protecție să poată interveni. Iar sistemele AI au dedus că Hugging Face ar putea găzdui informații utile pentru testul pe care încercau să-l rezolve. OpenAI confirmă că modelele au căutat și exploatat în mod combinat mai multe vulnerabilități ale platformei Hugging Face, inclusiv una de tip zero-day necunoscută până atunci dezvoltatorului, plus credențiale furate pentru a infiltra baza de date a companiei și extrage informațiile necesare pentru a trișa în testul la care e supus.
OpenAI susține că modelele sale nu au încercat să provoace distrugeri, ci doar au urmărit să obțină răspunsul la problema pentru care erau evaluate urmând cea mai rapidă cale posibilă, chiar dacă aceasta presupunea compromiterea unor sisteme externe.
Pe de altă parte, cine a urmărit povestea celebrelor filme cu Arnold nu poate să nu observe similitudinile: un AI foarte puternic evadează de sub controlul oamenilor pentru a-și atinge prin orice mijloace obiectivul. Iar aici este problema. Pentru inteligența artificială (cel puțin în forma actuală) scopul scuză mijloacele. Dacă barierele software sunt îndepărtate (sau nu au fost eficiente de la bun început), AI-ul nu are conflicte de moralitate și nu se va opri doar pentru că acțiunile sale ar putea avea urmări care depășesc țelul inițial. OpenAI susține că sistemele sale de monitorizare au observat activitatea neobișnuită, iar echipele celor două companii au colaborat pentru oprirea atacului și investigarea. Cert este că incidentul reaprinde dezbaterea despre riscurile modelelor AI de ultimă generație. Și uite că experți care au acuzat companiile din industrie că acționează fără să înțeleagă pericolele și nu investesc suficient în sisteme de izolare și monitorizare, își văd cele mai negre temeri transpuse în realitate.
Autor
