NVIDIA a anunțat marți, 17 decembrie, Jetson Orin Nano Super, un supercomputer compact dedicat inteligenței artificiale generative, care oferă o creștere substanțială a performanței față de versiunea anterioară, la un preț accesibil. Noul dispozitiv se adresează dezvoltatorilor, pasionaților de tehnologie și studenților interesați să exploreze aplicații avansate de inteligență artificială. Noutatea vine cu un preț de doar 249 de dolari, reprezentând o reducere serioasă față de versiunea anterioară care costa 499 de dolari.
Jetson Orin Nano Super, performanță într-un format compact
Noul kit de dezvoltare Jetson Orin Nano Super, care încape în palmă, oferă un salt de până la 1,7 ori în performanța AI generativă și o creștere cu 70% a puterii de calcul, atingând 67 INT8 TOPS. În plus, lățimea de bandă a memoriei a fost îmbunătățită cu 50%, ajungând la 102GB/s. Aceste îmbunătățiri sunt demonstrate în testele recente prezentate de NVIDIA sub forma unui grafic.
Al doilea grafic arată performanțele Jetson Orin Nano Super în combinație cu diverse modele populare:
- LLM – Llama 3.1 8B și Gemma 2 9B, cu o creștere de până la 1.63X.
- Vision Language Models, precum InternVL 4B, care atinge un 2.04X câștig de performanță.
- Transformeri vizuali ca CLIP și DINOv2, care ajung la 1.69X față de versiunea precedentă.
Dacă LLM-urile știe toată lumea ce sunt sau măcar a auzit de ele, ce sunt Vision Language Models și Vision Transformers?
Vision Language Models sunt modele AI care combină analiza vizuală (imagini) cu înțelegerea limbajului natural (text). Practic, aceste modele pot interpreta imagini și texte simultan, conectând ceea ce „văd” cu ceea ce „înțeleg”.
Vision Transformers sunt modele AI specializate pentru procesarea imaginilor și rezolvarea sarcinilor de viziune computerizată. Inspirate de arhitectura folosită în LLM-uri (cum ar fi GPT), acestea aplică o abordare similară pentru a „înțelege” conținutul vizual al unei imagini.
La nivel hardware, kit-ul include un modul system-on-module (SoM) Jetson Orin Nano cu 8GB memorie RAM și o placă de referință, echivalentul motherboard la un computer. Inima sistemului este reprezentată de un GPU NVIDIA cu arhitectură Ampere, echipat cu nuclee tensor și un procesor ARM cu 6 nuclee. Această configurație permite rularea simultană a mai multor aplicații AI și suportă conectarea a până la patru camere pentru procesare video avansată.
Îmbunătățirile de performanță nu sunt limitate doar la noile dispozitive. Utilizatorii care dețin deja kit-uri Jetson Orin Nano pot obține aceleași creșteri de performanță prin intermediul unei actualizări software.
La ce folosește concret Jetson Orin Nano Super și de ce e important?
Pe Jetson Orin Nano Super îți poți instala sau crea propriul asistent AI, care să funcționeze fără conexiune la internet, deoarece toată procesarea se face local pe dispozitiv. Poți să-l personalizezi cum dorești, să-i adaugi cunoștințe specifice și să-l adaptezi nevoilor tale. Totuși, instalarea sau crearea unui asistent AI necesită cunoștințe tehnice specifice de programare și machine learning. De asemenea, există limitări tehnice: poți rula doar modele de dimensiuni medii și mici, optimizate pentru edge computing, nu versiuni complete ale asistenților AI precum ChatGPT sau GPT-4.
În domeniul supravegherii, dispozitivul poate procesa imagini de la până la patru camere simultan. El poate recunoaște obiecte și persoane în timp real, poate detecta mișcări suspecte sau poate număra câte persoane sau mașini trec prin fața camerelor.
Pentru pasionații de robotică, Jetson Orin Nano Super este ca un creier electronic care poate controla roboți mici. Le poate oferi capacitatea de a „vedea” și naviga singuri prin spațiu sau de a manipula obiecte cu brațe robotice.
Dispozitivul este bun și în procesarea video în timp real. Poți crea filtre și efecte video care funcționează instantaneu, poți implementa sisteme de recunoaștere a gesturilor sau poți dezvolta aplicații de realitate augmentată. De asemenea, poate traduce automat text din imagini în timp real.
Pentru studenți și profesori, reprezintă o unealtă educațională. Ei pot învăța practic despre inteligența artificială și pot experimenta cu diverse modele de AI. Dimensiunea compactă, consumul redus de energie și faptul că nu necesită conexiune constantă la internet îl fac potrivit pentru proiecte educaționale și de cercetare.
Jetson Orin Nano Super este important pentru piață, oferind un supercomputer compact la preț accesibil pentru procesare AI locală ce poate fi folosit de oricine – de la studenți la dezvoltatori profesioniști – pentru a crea aplicații AI avansate fără a depinde de servicii cloud pe bani.
Jetson Orin Nano Super a fost prezentată de Jensen Huang, CEO-ul NVIDIA, într-un mod inedit, scoțând-o la propriu pe o tavă din cuptorul din bucătărie, ca și cum ar fi o prăjitură proaspăt coaptă.
