Cercetătorii de la Microsoft au prezentat săptămâna aceasta BitNet b1.58 2B4T, un model AI care poate rula pe CPU, ceea ce îl face cu adevărat special într-o lume dominată de LLM-uri lacome de resurse și dependente de GPU-uri scumpe.
Un bitnet e un tip de model AI care a fost „micșorat” foarte mult, astfel încât să ocupe mult mai puțin spațiu și să consume mai puțină energie. În loc să lucreze cu numere complicate, ca modelele obișnuite, BitNet folosește doar trei valori simple: -1, 0 și +1. Asta îl face de aproape zece ori mai eficient decât modelele obișnuite, care au nevoie de mai multă memorie și putere de calcul. Tocmai de aceea, BitNet este un model AI care poate rula pe CPU, adică pe un calculator normal, fără să ai nevoie de echipamente speciale sau plăci grafice scumpe.
Specificațiile BitNet b1.58 2B4T, model AI care poate rula pe CPU
Modelul a fost antrenat de la zero pe un set de date de 4 trilioane de tokenuri, echivalentul a 33 de milioane de cărți, potrivit Microsoft. Iată câteva specificații interesante:
- Arhitectură transformer cu modificări în stil BitNet (straturi BitLinear)
- Activare folosind ReLU pătrat (ReLU²)
- Normalizare subln, fără bias în layerele liniare
- Cuantizare W1.58A8, adică parametri cuantizați la 1.58-bit, activări la 8-bit
- Tokenizator LLaMA 3 (vocabular format din 128.256 de tokenuri).
Pentru a profita de viteza și eficiența energetică, trebuie folosit codul C++ dedicat (bitnet.cpp).
BitNet b1.58 2B4T a fost evaluat folosind mai multe teste sintetice uzuale pentru a măsura capacitățile modelelor AI de înțelegere și raționament. Printre acestea se numără GSM8K, care conține probleme de matematică de nivel gimnazial; PIQA, axat pe înțelegerea modului în care funcționează lumea fizică; CommonsenseQA, care testează logica de zi cu zi; și MMLU, un set larg de întrebări din domenii precum istorie, științe sau drept.
În aceste teste, BitNet a obținut scoruri peste așteptări: 58.38 în GSM8K (față de 38.21 pentru LLaMA), 77.09 în PIQA (cel mai mare scor dintre toate modelele comparate), 71.58 în CommonsenseQA și 53.17 în MMLU, demonstrând un echilibru solid între eficiență și performanță.
Pe partea de performanță tehnică, modelul necesită doar 0.4 GB de memorie pentru inferență, comparativ cu 2 până la 4 GB pentru modelele similare. În plus, are o latență de doar 29 milisecunde pe CPU, față de 48ms în cazul LLaMA și 65ms pentru Qwen.
Pe ce CPU poate rula concret?
BitNet este un model AI care poate rula pe CPU, testat direct pe procesoare precum Intel Core i7-13800H (13th Gen) și Apple M2. Pe baza acestor teste, putem presupune că BitNet este compatibil cu o gamă largă de laptopuri și desktopuri moderne, inclusiv configurații cu Intel Core i5/i7 sau AMD Ryzen 5/7, procesoare obișnuite pentru calculatoarele personale.
Modelul BitNet b1.58 2B4T este complet open-source, ceea ce înseamnă că oricine poate să-l descarce, să-l studieze, să-l modifice și să-l folosească liber, inclusiv în proiecte comerciale. Codul și parametrii modelului sunt publicate deschis sub licență MIT, una dintre cele mai permisive licențe open-source existente.
Există trei versiuni principale ale modelului, disponibile pe Hugging Face, adaptate pentru nevoi diferite:
- pregătită pentru folosire directă, adică generarea de răspunsuri;
- destinată antrenării suplimentare sau adaptării pentru sarcini specifice;
- concepută special pentru rulare eficientă pe CPU, cu ajutorul unui program dedicat numit bitnet.cpp, care permite performanțe ridicate chiar și fără placă grafică.
De ce e interesat Microsoft de un model AI care poate rula pe CPU?
Qui prodest (Cui folosește?), e o întrebare legitimă și mi se pare importantă în acest context. Un posibil motiv pentru care Microsoft dezvoltă un model AI care poate rula pe CPU ar putea fi impactul generat de DeepSeek. Modelul chinezesc a demonstrat recent că nu ai neapărat nevoie de cele mai scumpe plăci grafice sau de mii de GPU-uri pentru a obține un model AI performant. În plus, este disponibil public, adică poate fi folosit liber de oricine.
O a doua explicație posibilă ține de creșterea costurilor din cauza tarifelor vamale ale administrației Trump, aplicate unei categorii largi de produse, inclusiv hardware dedicat pentru AI. Iar în al treilea rând, industrie pare să se orienteze din ce în ce mai mult către modele AI care pot rula local, direct pe dispozitivul utilizatorului, ceea ce mută costurile de procesare și energie de la companii către clienții finali.
