Am tot scris despre ChatGPT, Gemini, uneori și despre modele AI de la Samsung sau Baidu. Multe dintre aceste modele AI au în comun faptul că funcționează prin intermediul unor soluții grafice furnizate de către NVIDIA. Ei bine, azi compania și-a lansat propriul chatbot. Putem spune că e rival pentru ChatGPT, deși modul de funcționare e puțin diferit. Pe numele său „Chat With RTX”, chatbot-ul rulează local, pe orice PC cu grafică RTX 30 sau RTX 40. Mai jos avem detalii.
NVIDIA oferă posesorilor de plăci video RTX acest nou chatbot care poate fi antrenat după bunul plac, local. Chat With RTX rulează astfel pe orice PC Windows ce are placă video din seria RTX 30 sau RTX 40. Chatbot-ul este conceput ca un sistem localizat, funcționând fără a fi nevoie de o conexiune la internet.
Chat With RTX poate fi conectat la baze de date găzduite local și „educat” folosind seturi de instrucțiuni adăugate într-un document ușor editabil (.txt, .pdf, .doc, .docx, .xml). Totodată, pot fi conectate mai multe modele LLM, precum Mistral și Llama 2, utilizatorii având posibilitatea de a personaliza capabilitățile sale după bunul plac.
Interfața e similară cu cea oferită de OpenAI în cazul lui ChatGPT. Utilizatorii pot pune întrebări folosind un limbaj natural, să atașeze documente sau extrase din documente pentru a îndeplini anumite task-uri. Rezultatele generate se vor baza în întregime pe setul de date avut la dispoziție de către Chat With RTX, ceea ce asigură răspunsuri prompte, pe subiect. Principalul avantaj în cazul acestui chatbot e că datele confidențiale rămân stocate local, șansele fiind mult mai mici ca acestea să fie divulgate online.
NVIDIA a explicaț și conceptul de „RAG” sau Retrieval Augmented Generation, o tehnică utilizată pentru a obține rezultate AI mai rapide prin folosirea unei baze de date localizate. Aceasta poate fi completată fix cu informațiile pe care vrei să le pui la dispoziția modelului.
NVIDIA a promis o creștere de aproximativ 5 ori a performanțelor de lansare cu TensorRT-LLM v0.6.0, a 9-a versiune de API ca va fi disponibilă spre finalul acestei luni. În plus, acest update va adăuga suport pentru LLM-uri suplimentare, cum ar fi mistral 7B și Nemotron.
Dacă ai un PC cu grafică RTX și vrei să încerci Chat With RTX, descarci aplicația gratuit de aici!
