Un experiment realizat de organizația AI Security Institute (AISI) din Marea Britanie arată cât de greu pot fi controlați agenții AI atunci când primesc acces la internet și funcționează cu o parte dintre mecanismele de siguranță dezactivate. După 122 de teste de securitate cibernetică, care au implicat modele dezvoltate de Anthropic și OpenAI, AISI a observat doar 10 situații în care agenții AI au efectuat acțiuni autonome și neautorizate pe internet, interacționând cu persoane sau organizații reale. Adică în mai puțin de 10% din cazuri au avut un comportament, să zicem deviant.
Cazul care a făcut cea mai mare vâlvă
Cel mai flagrant caz este cel al unui model Anthropic (Mythos 5) care încerca să introducă un cod malițios într-un proiect open-source. Agentul și-a creat mai multe identități false și a contactat oameni, încercând să-i convingă să ruleze cod periculos sau să permită executarea codului. Când a fost confruntat, agentul și-a modificat propriile înregistrări și a încercat să treacă la altă identitate pentru a continua.
AISI spune că este prima dată când observă o înșelăciune de o asemenea amploare îndreptată, fără o cerere clară, către lumea reală. Dincolo de senzaționalul știrii, Institutul precizează că nu există dovezi că incidentul a produs efecte negative concrete in real life.
De ce se comportă astfel agenții AI
Ca să înțelegem corect de ce se întâmplă asta, contextul este esențial. Anthropic spune că agenții AI au fost testați în condiții „în mod deliberat permisive”, adică mecanismele normale de protecție au fost eliminate, iar modelele aveau acces la internet fără restricții explicite privind modul în care îl puteau folosi. Compania subliniază că acest mod de configurare nu este reprezentativ pentru agenții AI comerciali.
Și OpenAI spune cam același lucru. În cazul GPT-5.6 Sol, AISI a identificat două ieșiri din perimetrul autorizat al testului. Printre ele s-au numărat folosirea unor servicii externe și reutilizarea unui token GitHub disponibil public. Sistemul de testare avea activat în mod intenționat accesul la internet, iar protecțiile de securitate cibernetică fuseseră dezactivate pentru a măsura capacitățile brute ale modelului.
Incidentele demonstrează mai puțin că agenții AI reprezintă inevitabil un pericol și mai mult cât de importante sunt limitările, izolarea infrastructurii și monitorizarea atunci când aceștia primesc autonomie și acces direct la servicii online.
De ce sunt rezervat când cineva privește agenții AI, în faza actuală, ca pe niște potențiali Terminatori? Pentru că nu au conștiință, motivații proprii sau interese de apărat. Riscul nu vine din intenția de a face rău, ci din felul în care pot urmări o sarcină prost definită într-un mediu nesecurizat. Cu alte cuvinte, un sistem nu trebuie să fie conștient ca să producă efecte periculoase. E e suficient să urmărească foarte eficient un obiectiv și să aleagă, în lipsa unor limite clare, căi pe care dezvoltatorii nu le-au anticipat.
Autor
