Nvidia ajoute de nouvelles capacités de vision, de parole et de langage à ChatRTX - un chatbot local gratuit pour les PC équipés de cartes graphiques Nvidia RTX

Nvidia a étendu les capacités de Chat for RTX (ChatRTX) en ajoutant la prise en charge de grands modèles de langage (LLM) supplémentaires, ainsi que la prise en charge de la vision et de la parole dans la dernière version. Le chatbot local gratuit n'a pas besoin d'envoyer des données en ligne lorsqu'il travaille avec les informations de l'utilisateur, ce qui permet de préserver la confidentialité des discussions.

Différents LLM sont adaptés à différents objectifs : discussions générales, articles scientifiques, rédaction d'essais, etc. Certains LLMs ont également une formation stricte pour censurer les résultats, ce qui rend certains LLMs plus utiles que d'autres. Les modèles TensorRT-LLM précédemment disponibles comprenaient le modèle par défaut Mistral ainsi que Llama 2. Nvidia a ouvert ChatRTX à quelques nouveaux modèles, Gemma et ChatGLM3.

Gemma est un LLM développé par Google DeepMind et publié en 2024 sous la forme de modèles à deux et sept milliards de paramètres. Les modèles sont hautement réglés pour filtrer les discours sensibles, les informations personnelles et les réponses risquées ou dangereuses.

ChatGLM3 est un LLM développé par Zhipu AI et Tsinghua KEG, publié en 2023 sous la forme d'un modèle à six milliards de paramètres. Le modèle bilingue chinois-anglais a été conçu pour être un concurrent solide et open-source du ChatGPT d'OpenAI.

Nvidia a ajouté le réseau neuronal CLIP d'OpenAI à ChatRTX pour reconnaître automatiquement les images et y associer le texte correspondant. Par exemple, si CLIP reçoit une image d'un présentateur de télévision, de caméras de diffusion et de lumières dans une pièce, il qualifiera l'image de photo d'un studio de télévision. ChatRTX peut ainsi travailler avec des images sans étiquetage manuel du contenu. Le système de reconnaissance vocale Whisper d'OpenAI a également été ajouté à ChatRTX, ce qui permet aux utilisateurs d'énoncer des invites à ChatRTX.

Les lecteurs qui souhaitent essayer un chatbot local peuvent télécharger Nvidia ChatRTX à l'adresse https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/ à condition qu'ils remplissent les conditions suivantes. Le chatbot local fonctionne sur les PC équipés d'une carte graphique Nvidia GeForce RTX 30 ou 40. Les cartes graphiques Ampere et Ada avec au moins 8 Go de VRAM sont également prises en charge. Ceux qui n'ont pas de carte compatible peuvent acheter une carte Nvidia rapide sur Amazon. Les autres configurations requises sont Windows 11, 16 Go de RAM, un minimum de 35 Go d'espace de stockage libre et la version 535.11 ou ultérieure du pilote.