Sistemele AI pot fi păcălite de… un pulover

Sistemele de inteligență artificială sunt utilizate din ce în ce mai mult în jurul nostru. Cele mai multe sunt invizibile, dar îndeplinesc funcții incredibil de utile: îmbunătățesc semnificativ calitatea informațiilor la care suntem expuși, cresc siguranța în trafic, accelerează procese logistice și multe altele.

De exemplu, automobilele Tesla au faimosul mod de self-driving, care este controlat de un sistem AI. Facebook și alte platforme de social media folosesc AI pentru a scana toate pozele încărcate în platformă și a elimina conținutul inadecvat (violență, nuditate etc.). Sisteme AI monitorizează traficul auto și pietonal și schimbă afișajul diverselor panouri de informații de trafic și chiar indicatoare de circulație. Astfel, analizarea și categorizarea imaginilor sunt elemente cruciale.

În acest context, s-a dezvoltat și studiat un nou tip de atac care poate da peste cap sistemele AI. Acest atac cu imagini cu conținut ascuns (adversarial images) este extrem de periculos, pentru că poate păcăli un sistem AI să interpreteze greșit obiecte din imagine sau să le ignore complet. Asta în contextul în care imaginile ascunse NU pot fi detectate de ochiul uman sau, în cel mai bun caz, sunt văzute ca artefacte sau „zgomot”. Cel mai inofensiv exemplu:

Un pulover te face „invizibil” pentru camerele de supraveghere cu AI

Cercetătorii de la Universitatea din Maryland au creat un pulover care conține o imagine ascunsă ce păcălește anumite sisteme AI. Astfel, când o persoană îmbrăcată cu un astfel de pulover trece prin fața unei camere care identifică oamenii, sistemul AI pur și simplu ignoră acea persoană. Un tweet de la MorningBrew arată sistemul în acțiune (mai precis, în inacțiune):

This sweater developed by the University of Maryland is an invisibility cloak against AI.

It uses "adversarial patterns" to stop AI from recognizing the person wearing it. pic.twitter.com/aJ8LlHixvX

— Morning Brew ☕️ (@MorningBrew) October 25, 2022

După cum se poate observa, sistemul AI ignoră persoana sau persoanele ce poartă modelul respectiv de pulover. Cum este asta posibil? Răspunsul este adversarial images. Bine bine, dar ce sunt adversarial images? Acest articol explică pe larg cum funcționează, dar în principiu vorbim de o imagini peste care se aplică un model foarte bine stabilit de zgomot de fond, de cele mai multe ori imperceptibil pentru ochiul uman, care dă complet peste cap identificarea imaginilor respective.

În imaginea de mai sus, sistemul AI identifică un urs panda în prima imagine, dar când modelul din centru este aplicat peste imagine (cu o transparență foarte mare), poza rezultată este identificată ca fiind cu un gibon. Remarcați faptul că nu puteți deosebi cu ochiul liber diferențele dintre cele două imagini. AI-ul în schimb poate, și nu doar că poate, dar le vede ca fiind COMPLET diferite.

Cum poate fi exploatată o astfel de slăbiciune?

Exemplul de mai sus este trivial și inofensiv în forma prezentată, dar hai să vedem unde poate fi cu adevărat devastator un astfel de atac:

• Facebook utilizează AI pentru filtrarea imaginilor cu conținut interzis. Imaginați-vă că un hacker reușește să interacționeze cu AI-ul respectiv și să găsească un pattern pe care algoritmul îl interpretează ca fiind imaginea unei pisici. Suprapunând acel pattern peste imagini cu conținut interzis, hacker-ul poate să încarce pe platformă cantități mari de imagini pornografice sau violente fără să trezească niciun fel de reacție din partea sistemului.
• Sistemele de OCR (recunoaștere a textului) sunt prezente în multe instituții, iar inserarea unor imagini adversariale în materialele introduse în sistem poate face ca acel sistem să înțeleagă complet greșit anumite rapoarte sau seturi de date, generând astfel rezultate eronate ce pot genera la rândul lor tot felul de probleme administrative;

• După cum ați văzut în exemplul cu puloverul, un adversarial attack poate păcăli camerele de supraveghere dotate cu sisteme AI de recunoaștere a persoanelor sau chiar recunoaștere facială să ignore anumite persoane, fapt ce ar putea de exemplu permite unor răufăcători cunoscuți să treacă neobservați prin zone supravegheate;
• Un scenariu extrem de periculos este cel în care un răufăcător reușește să descopere algoritmul unui AI de pe mașini autonome. Asta i-ar permite, teoretic, doar prin așezarea unei imagini în raza de acțiune a camerelor unui astfel de automobil, să determine AI-ul să efectueze manevre periculoase (să treacă pe roșu, să frâneze sau să vireze brusc etc.);
• Similar, în cazul sistemelor logistice, un astfel de atac ar putea determina blocaje complete ale fluxurilor logistice. Imaginați-vă un sistem AI care urmărește colete prin depozit la o firmă de curierat și care primește un pachet sau o serie de pachete cu imagini adversariale pe ele;
• În cazul și sistemelor AI de fluidizare a traficului, un astfel de atac ar putea crea ambuteiaje, crește poluarea și cauza pierderi substanțiale în districte comerciale.

Astea sunt doar câteva exemple, imaginația e singura limită când vine vorba de câte vulnerabilități de acest fel ar putea fi exploatate. Ca o paranteză, recomand serialul Person of Interest pentru cei care sunt pasionați de AI și potențialul AI pentru omenire.

Cum poate fi prevenit un atac?

Există însă și vești bune. În primul rând, un astfel de atac nu este deloc universal. Fiecare sistem AI utilizează alți algoritmi de identificare video, iar acești algoritmi nu sunt disponibili pentru analiză nicăieri. Un atacator ar trebui să aibă acces la codul-sursă sau la informații care sunt extrem de greu, dacă nu imposibil, de obținut. Chiar și în cazul în care un astfel de sistem AI este compromis, vulnerabilitatea nu ar fi aplicabilă altor sisteme AI.

Apoi, programatorii au diverse metode să antreneze sistemele AI pentru a diminua șansele de succes ale unui astfel de atac. De exemplu, în faza de învățare a AI-ului, acesta poate fi pus să genereze imagini adversariale pentru a se auto-păcăli, ca apoi să învețe din acest exercițiu. Într-o variantă mai simplă, AI-ul este antrenat cu imagini adversariale date de dezvoltatori.

Ce este clar este că trăim într-o lume în care sistemele AI devin parte integrantă din viețile noastre, iar asta înseamnă că, vrem sau nu, renunțăm parțial la controlul unor procese (pe care oricum, oamenii le efectuau ineficient). Asta pe lângă proverbialul pericol în care am fi dacă un sistem AI ar deveni conștient. Inteligența artificială are un potențial extraordinar de a ne ușura viața, dar întrebarea este: vrem să trăim mai ușor fără să avem control sau să trăim mai greu, dar controlând traseul pe care îl urmăm? Destul cu filosofia, însă. Oricum ar arăta viitorul, cu siguranță nu va fi deloc plictisitor.