Chiar cu riscul de a prăbuși acțiunile NVIDIA, un grup de cercetători de la o companie nou apărută, BitEnergy AI, susțin că au dezvoltat Linear-Complexity Multiplication (L-Mul), un algoritm care promite să scadă cu până la 95% consumul de energie asociat procesării AI recurgând la o metodă de calcul simplificat, care poate aproxima rezultatul final cu un nivel de acuratețe foarte bun.
Iar dacă nu era deja evident, diminuarea cu 95% a consumului de energie presupune și o reducere proporțională a puterii de procesare folosită, punând sub semnul întrebării sustenabilitatea actualului model de business NVIDIA, bazat pe creștere exponențială a cererii pentru sisteme de accelerare AI. Desigur, am putea vedea și un altfel de deznodământ, unde algoritmul L-Mul funcționează precum kerosenul aruncat peste un foc de tabără, accelerând în mod exponențial evoluția AI-ului fără ca cererea pentru centre de procesare să scadă aproape deloc.
Concret, L-Mul demontează bariera consumului de energie reimaginând modul în care modelele AI gestionează calculele. În loc de calcule intensive bazate pe înmulțiri în virgulă mobilă, algoritmul realizează o aproximare a operației dorite, traducând-o într-o sarcină de procesare bazată pe calcule cu numere întregi. Deci, de exemplu, în loc să înmulțească 123,45 cu 67,89, L-Mul îl descompune în pași mai mulți dar mai mici și mai simpli, folosind adunări. Abordarea nu doar că face calculele mai rapide, dar permite procesarea acestora folosind hardware simplificat, care necesită mai puțină energie, păstrând în același timp un nivel rezonabil de acuratețe a rezultatului final. Iar dacă funcționează cum ar trebui, atunci nici măcar nu vom mai avea nevoie de unități GPU atât de complexe, eforturile de procesare care necesită forță brută putând fi delegate unor cip-uri specializate, ultra eficiente în operațiuni cu numere întregi, similare celebrelor ASIC Miners folosite la minarea Bitcoin.
Rezultatele par promițătoare. ”Aplicarea operațiunii L-Mul în hardware-ul de procesare a tensorilor poate reduce cu 95% costul energiei prin multiplicarea tensorilor în virgulă mobilă în funcție de elemente și cu 80% costul energetic al produselor punctiforme”, susțin cercetătorii.
Dacă un model AI folosește această tehnică, ar putea consuma cu 95% mai puțină energie la procesarea de bază și cu 80% mai puțină energie atunci când generează conținut nou, potrivit acestei cercetări.
Iar beneficiile noului algoritm merg mai departe decât scopul economisirii de energie. L-Mul depășește standardele actuale de acuratețe ale algoritmilor pe 8 biți în unele cazuri, obținând o precizie mai mare chiar dacă printr-un volum de calcul semnificativ mai mic la nivel de biți.
Testele privind procesarea limbajului natural, sarcinile de vedere și raționamentul simbolic au arătat o scădere medie a performanței de doar 0,07% – un compromis neglijabil pentru potențialele economii de energie. Modelele bazate pe transformatoare, coloana vertebrală a modelelor de limbaj mari precum GPT, ar putea beneficia foarte mult de L-Mul. Algoritmul se integrează perfect în mecanismul de atenție, componenta acestor modele care implică cele mai intensive calcule. Testele pe modele populare, cum ar fi Llama, Mistral și Gemma, au dezvăluit chiar și un anumit câștig de precizie în anumite sarcini de procesare.
La nivel operațional, avantajele L-Mul devin și mai evidente. Cercetarea arată că înmulțirea a două numere float8 (modul în care modelele AI funcționează acum) necesită 325 de operațiuni, în timp ce L-Mul folosește doar 157 – mai puțin de jumătate.
”Pentru a rezuma analiza erorii și a complexității, L-Mul este atât mai eficient, cât și mai precis decât multiplicarea fp8”, conchide studiul.
Care sunt dezavantajele folosirii L-Mul pentru accelerare AI
Din păcate nu putea fi totul perfect, iar metoda L-Mul are un mare dezavantaj: necesită hardware specializat pentru a funcționa la întregul potențial, proiectat cu accent pe folosirea la scară largă a operațiunilor fără virgulă mobilă.
Actualele centre de procesare AI nu sunt optimizate pentru a folosi pe deplin avantajele L-Mul, simpla migrare a codului la noul algoritm de procesare aducând doar beneficii limitate.
Vestea „bună” ar fi că dacă saltul de performanță este atât de mare încât să justifice trimiterea la gunoi a hardware-ului existent, atunci NVIDIA și alți jucători din industrie vor avea în continuare parte de cerere uriașă, livrând hardware specializat care acceptă în mod nativ calculele L-Mul și L-Matmul, împreună cu componentele API și asistența oferită echipelor de dezvoltatori care vor avea în față o muncă titanică, cu adaptarea software-ului existent la noul algoritm de procesare AI ultra-eficientă.
