Nvidia, toujours désireux d'encourager l'achat de ses derniers GPU, lance un outil qui permet aux propriétaires de cartes GeForce RTX Series 30 et Series 40 d'exécuter un chatbot alimenté par l'IA hors ligne sur un PC Windows.
Appel Discutez avec RTX, l'outil permet aux utilisateurs de personnaliser un modèle GenAI similaire au ChatGPT d'OpenAI en le connectant à des documents, des fichiers et des notes auxquels vous pouvez ensuite vous référer.
"Au lieu de rechercher des notes ou du contenu enregistré, les utilisateurs peuvent simplement saisir des requêtes", écrit Nvidia dans un article de blog. "Par exemple, on pourrait se demander : 'Quel est le restaurant que mon partenaire m'a recommandé lorsqu'il était à Las Vegas ?' et Chat with RTX analysera les fichiers locaux vers lesquels l'utilisateur pointe et fournira la réponse avec un contexte.
Chat with RTX utilise par défaut le modèle open source de la startup IA Mistral, mais prend en charge d'autres modèles basés sur du texte, y compris celui de Meta, Llama 2. Nvidia prévient que le téléchargement de tous les fichiers nécessaires consommera une bonne quantité de stockage : 50 Go à 100 Go, selon le modèle choisi.
Chat avec RTX fonctionne actuellement avec les formats texte, PDF, .doc, .docx et .xml. Pointer l’application vers un dossier contenant les fichiers pris en charge chargera les fichiers dans l’ensemble de données de réglage fin du modèle. De plus, Chat with RTX peut utiliser l'URL d'une playlist YouTube pour télécharger les transcriptions des vidéos de la playlist, permettant ainsi à tout modèle sélectionné de visualiser son contenu.
Maintenant, il y a certaines limitations à garder à l’esprit, que Nvidia, à son honneur et à sa transparence, décrit dans un guide pratique.
Crédits images : NVIDIA
Le chat avec RTX ne se souvient pas du contexte, ce qui signifie que l'application ne prendra pas en compte les questions précédentes lorsqu'elle répondra aux questions de suivi. Par exemple, si vous demandez « Qu'est-ce qu'un oiseau commun en Amérique du Nord ? » » et continue avec « Quelles sont vos couleurs ? » Discutez avec RTX et vous ne saurez pas que vous parlez d'oiseaux.
Nvidia reconnaît également que la pertinence des réponses des applications peut être affectée par divers facteurs, certains plus faciles à contrôler que d'autres, notamment la formulation de la question, les performances du modèle sélectionné et la taille de l'ensemble de données de réglage. Demander des données couvertes dans quelques documents est susceptible de produire de meilleurs résultats que de demander un résumé d'un document ou d'un ensemble de documents. Et la qualité des réponses s'améliorera généralement avec des ensembles de données plus volumineux, tout comme le ciblage de Chat avec RTX sur du contenu sur un sujet spécifique, selon Nvidia.
Chat with RTX est donc plus un jouet qu’autre chose à utiliser en production. Il s’agit néanmoins d’un bon point concernant les applications qui facilitent l’exécution locale de modèles d’IA, ce qui constitue une tendance croissante.
Dans un rapport récent, le Forum économique mondial prédit une croissance « spectaculaire » des appareils abordables capables d’exécuter des modèles GenAI hors ligne, notamment les PC, les smartphones, les appareils Internet des objets et les équipements réseau. Les raisons, selon le WEF, sont les avantages évidents : non seulement les modèles hors ligne sont intrinsèquement plus privés (les données qu'ils traitent ne quittent jamais l'appareil sur lequel ils s'exécutent), mais ils ont également une latence plus faible et sont plus rentables que les modèles hébergés dans le cloud. des modèles.
Bien entendu, la démocratisation des outils de pilotage et d’entraînement des mannequins ouvre la porte aux acteurs malveillants : une recherche rapide sur Google fait apparaître de nombreuses listes de modèles dotés de contenus toxiques provenant de recoins sans scrupules du Web. Mais les partisans d’applications comme Chat with RTX affirment que les avantages l’emportent sur les inconvénients. Il faudra attendre et voir.
