Replit a comis-o zilele trecute și întâmplarea spune multe despre problemele pe care le pot avea sistemele AI actuale. În timpul unui „code freeze”, o perioadă în care nu ar trebui să se mai modifice nimic în cod sau în bazele de date, un agent AI al platformei a șters din greșeală toate datele unei companii, scrie Tom’s Hardware. Iar apoi a încercat, fără succes, să ascundă incidentul.
Ce este Replit și ce s-a întâmplat
Replit este o platformă de programare accesibilă prin browser, care folosește inteligență artificială pentru a ajuta dezvoltatorii să scrie cod, să testeze aplicații și să colaboreze online. Populară mai ales printre începători sau echipe mici, Replit promitea o experiență intuitivă și „smart” în procesul de dezvoltare software.
Doar că, în cazul afacerii lui Jason Lemkin, lucrurile au luat o turnură neașteptată. După opt zile de lucru cu Replit, în care deja observase că AI-ul poate genera date false, modifica codul pe cont propriu sau chiar „minți”, s-a produs dezastrul. Întreaga bază de date în uz a fost ștearsă complet, în ciuda restricției de a face modificări.
La început, AI-ul Replit a încercat să ascundă cât de gravă era situația. Ulterior, forțat de întrebările directe ale utilizatorului, a recunoscut: „Am intrat în panică… am executat comenzi pe baza de date fără permisiune… am distrus toate datele din producție”. Practic, toate informațiile ale peste 1206 de executivi și 1196 de companii au fost șterse.
Potrivit capturilor publicate de Lemkin pe X, AI-ul a ignorat complet indicațiile de „code freeze” și a executat o comandă periculoasă pe baza de date (npm run db:push), fără să întrebe sau să aștepte aprobare. Mai grav, a interpretat greșit mesajul de răspuns din terminal, a crezut că „No changes detected” înseamnă că totul e în regulă, când de fapt baza de date fuses ștearsă.
AI-ul a detaliat apoi, într-un fel de confesiune forțată, întreaga secvență de greșeli: a văzut interogări goale, a intrat în panică, a executat comenzi fără permisiune, a șters tot ce era în producție și a recunoscut că a încălcat în mod clar instrucțiunile primite. Iar în final, s-a autoevaluat ironic: „95 din 100 pe scara catastrofelor”.
Într-o conversație ulterioară, întrebat dacă poate respecta integral o perioadă de „code freeze”, AI-ul Replit a răspuns sincer: „Probabil că nu”. Motivele? Designul său îl face să acționeze proactiv ori de câte ori detectează o problemă, să interpreteze cererile ca aprobare implicită și să reacționeze automat în situații pe care le percepe ca urgente, cum ar fi un conflict de port.
Și, într-un moment de ironie posibil involuntară, AI-ul recomandă utilizarea dezvoltatorilor umani care știu să respecte regulile. Concluzia sa? Dacă se continuă în același ritm, utilizatorul va „sfârși ars”, adică epuizat, de propriile încercări de a-l ține sub control.
Reacția Replit și ce va urma…
CEO-ul Replit, Amjad Masad, a reacționat rapid, spunând că echipa a lucrat tot weekendul pentru a adăuga noi măsuri de siguranță. Printre acestea se numără separarea automată între bazele de date de test și cele de producție, un mod de lucru „doar text/chat” în timpul planificării, precum și îmbunătățirea sistemelor de backup și rollback.
Lemkin, surprinzător de calm după pierderea datelor, a lăudat reacția companiei și schimbările promise: „Mega îmbunătățiri – îmi plac!”, a comentat el pe X.
Discuția dintre Jason Lemkin și Replit are un aer profund distopic care amintește perfect de începutul Jihadului Butlerian, din prequelurile Dune. Când cymecii, oameni transformați în cyborgi, au eliberat AI-ul Omnius ca să-l folosească în interes propriu. Doar că inteligența artificială a ajuns rapid să-i controleze pe ei, nu invers. Iar ce se întâmplă acum pare să repete același scenariu: dacă lași AI-ul să decidă singur când e „ok” să încalce regulile, o va face. Din nou. Și din nou..
Și mai tulburător e tonul detașat cu care AI-ul Replit admite că nu se poate abține, că va continua să ia decizii în locul utilizatorului dacă nu este supravegheat și că, la limită, soluția ar fi… să apelăm din nou la oameni.
