ȘtiriTech&IT

Nvidia anunță ”Chat With RTX”, o alternativă ChatGPT care rulează direct de pe PC-ul tău

ChatGPT și Gemini rulează pe acceleratoare grafice Nvidia. Așa că de ce să nu ai și tu Chat With RTX, propriul chatbot cu AI generativ, care rulează de pe placa video pe care o ai instalată deja în PC-ul tău pentru gaming?

Open AI a anunțat recent GPTs, versiuni „miniaturale” de ChatGPT care pot fi antrenate pentru îndeplinirea unui anume scop. Marele avantaj pentru GPTs este că nu au neapărat nevoie de puterea centrelor de procesare cloud, modelul LLM simplificat putând rula la fel de bine și local, folosind puterea de procesare a unui PC configurat chiar la sediul clientului respectiv. Exact asta oferă și Chat With RTX, cu mențiunea că AI-ul folosește cel mai nou API TensorRT-LLM, pus la dispoziție de Nvidia în mod gratuit pentru posesorii de acceleratoare grafice GeForce RTX.

Nvidia ar vrea să înlocuiască ChatGPT cu propriul său chatbot, Chat With RTX, disponibil local

Chat With RTX poate rula pe orice PC Windows configurat cu un GPU din seria RTX 3xxx sau 4xxx. Modul de folosire este cât se poate de simplu, pornind de la instalarea aplicației cu același nume.

Chatbot-ul este conceput ca un sistem localizat, funcționând fără nevoia unei conexiuni la internet. Însă adevărata sa putere este dată de opțiunile pentru personalizare, Chat With RTX poate fi conectat la baze de date găzduite local și „educat” folosind seturi de instrucțiuni adăugate într-un document ușor editabil (.txt, .pdf, .doc, .docx, .xml). De asemenea îl poți conecta la alte modele LLM, precum Mistral și Llama 2, personalizând și mai mult capabilitățile sale. Spre exemplu, dacă ești administratorul unui canal YouTube poți adăuga adrese URL pentru videoclipuri YouTube sau liste de redare întregi, obținând un chatbot care să funcționeze în rolul de ghid pentru vizitatorii canalului respectiv.

Cert este că utilizatorii pot folosi Chat With RTX în același mod în care ar folosi și ChatGPT, punând întrebări în limbaj natural și atașând documente sau extrase din documente. Însă rezultatele generate se vor baza în întregime pe setul de date avut la dispoziție, ceea ce asigură că răspunsurile primite sunt întotdeauna pe subiect.

Chat With RTX

Principalul argument în favoarea soluției propusă de Nvidia este acela că, dispunând de un GPU RTX care acceptă TensorRT-LLM, vei avea toate datele și proiectele tale disponibile local, eliminând riscul ca date confidențiale să-ți fie divulgate de chatbot-ul găzduit pe un server cloud. Asta ar economisi timp și bani pentru companii, totodată garantând rezultate mai precise.

RAG, sau Retrieval Augamanted Generation, este una dintre tehnicile utilizate pentru a obține rezultate AI mai rapide prin folosirea unei baze de date localizate, care poate fi completată cu exact informațiile pe care vrei să le pui la dispoziția modelului LLM.

Chat With RTX

Nvidia promite o creștere de 5x a performanțelor de lansare cu TensorRT-LLM v0.6.0, 9-a versiune de API ce va fi disponibilă spre finalul acestei luni. În plus, actualizarea va adăuga și suport pentru LLM-uri suplimentare, cum ar fi Mistral 7B și Nemotron 3 8B.

Aurelian Mihai

Îmi place să fiu la curent cu ultimele inovații și gadgeturi high-tech. Când nu scriu articole pentru Zona IT, îmi ocup timpul cu seriale SF, documentare sau periind internetul după tot felul de știri sau informații care-mi captează atenția. În week-end mă găsești cu bicicleta în parc sau colindând prin țară cu familia.

Articole asemanatoare

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *

Acest site folosește Akismet pentru a reduce spamul. Află cum sunt procesate datele comentariilor tale.

Back to top button