OpenAI a anunțat lansarea GPT-4o mini, cel mai eficient model mic de limbaj (SLM- small language model) din punct de vedere al costurilor, dezvoltat până acum de companie. Scopul principal al acestui model este de a face inteligența artificială accesibilă unui număr cât mai mare de utilizatori și aplicații, printr-un cost redus. GPT-4o mini se așteaptă să extindă semnificativ gama de aplicații construite cu AI, datorită prețului său.
Caracteristici și performanțe GPT-4o mini
GPT-4o mini permite realizarea unei game largi de sarcini datorită costului și latenței reduse, inclusiv aplicații care execută cereri multiple către model, inclusiv aplicații care procesează un volum mare de informații contextuale sau interacțiunea cu clienții, prin răspunsuri text rapide și în timp real.
Modelul suportă text și imagini în API (Application Programming Interface), atât la intrare, cât și la ieșire. Adică poți să-i adresezi întrebări text sau să-i dai o imagine și să-ți explice ce apare în ea. El poate să-ți răspundă în format text sau poate să-ți genereze o imagine ca răspuns.
În viitor va primi și capacitatea de a procesa și genera conținut video și audio, atât la intrare, cât și la ieșire. Adică vei putea să-i furnizezi un videoclip sau un fișier audio și să primești o analiză detaliată, rezumat sau descriere a conținutului. De asemenea, modelul va putea genera răspunsuri sub formă de videoclipuri sau fișiere audio, ceea ce înseamnă că vei putea primi nu doar texte sau imagini, ci și materiale video și audio create de model pe baza cerințelor tale.
Modelul poate procesa până la 128.000 de tokeni în context și poate genera până la 16.000 de tokeni ca răspuns la fiecare cerere, având informații actualizate până în octombrie 2023. Un alt avantaj al GPT-4o mini este că funcționează mai bine cu limbile non-engleze datorită unui ”tokenizer” avansat.
Un ”tokenizer” este un instrument folosit în procesarea limbajului natural pentru a descompune textul în unități mai mici numite tokeni. Tokenii pot fi cuvinte, părți de cuvinte, fraze sau alte entități lingvistice. Tokenizarea este un pas esențial în prelucrarea textului, deoarece permite modelelor de limbaj să înțeleagă și să proceseze textul într-un mod structurat.
Cu un scor de 82% pe benchmark-ul MMLU, GPT-4o mini obține performanțe mai bune decât GPT-3.5 Turbo în preferințele utilizatorilor în clasamentul LMSYS (Large Model System). GPT-4o mini a fost evaluat pe mai multe benchmark-uri, unde a demonstrat performanțe superioare altor modele mici.
În sarcinile de raționament, modelul a obținut un scor de 82% pe MMLU, comparativ cu 77,9% pentru Gemini Flash și 73,8% pentru Claude Haiku. În ceea ce privește raționamentul matematic și sarcinile de codare, GPT-4o mini a obținut 87% pe MGSM și 87,2% pe HumanEval, depășind semnificativ modelele concurente.
Care e prețul și un exemplu de calcul
GPT-4o mini este disponibil acum ca model de text și imagine în API-urile Assistants, Chat Completions și Batch. Prețul pentru acest model este de 15 cenți pentru un milion de tokeni de intrare și 60 cenți pentru un milion de tokeni de ieșire. Prin comparație, prețul este de zece ori mai mic decât al LLM-urilor anterioare și cu peste 60% mai ieftin decât GPT-3.5 Turbo.
Să ne imaginăm un scenariu de utilizare simplu:
- Cererea – utilizatorul întreabă SLM-ul ”Ce știi despre România?” Întrebarea valorează 4 sau 5 tokeni.
- Răspunsul – conține 400 de cuvinte, circa 300 de tokeni.
GPT-4o mini ar putea fi soluția din spatele Apple Intelligence
În domeniul inteligenței artificiale (AI), există două ramuri principale privind locul unde sunt efectuate calculele și procesările necesare pentru funcționarea AI: pe dispozitiv (on-device) și în cloud. GPT-4o mini face parte din categoria AI pe dispozitiv și ar putea deveni soluția din spatele Apple Intelligence din mai multe motive:
- costuri reduse;
- performanțe în procesarea de text și imagine;
- confidențialitate și securitate, procesare locală on-device;
- viteză mare și latență scăzută.
De asemenea, e posibil ca implementarea on-device să aducă și capacitatea de a funcționa fără conexiune la internet, dar momentan asta e doar o speculație.
