Les grands modèles linguistiques (LLM) comme ChatGPT d'OpenAI souffrent du même problème : ils inventent des choses.
Les erreurs vont de bizarres à inoffensives, comme prétendre que le Golden Gate Bridge était porté dans toute l’Égypte en 2016, devenant très problématique, voire dangereuse.
Un maire australien a récemment menacé de attaquer en justice OpenAI parce que ChatGPT a affirmé à tort avoir plaidé coupable dans un important scandale de corruption. Les emplois d'analyse ont découvert que les hallucinations LLM peuvent être exploitées pour distribuer des packages de codes malveillants à des développeurs de logiciels sans méfiance. Et les LLM donnent souvent de mauvais conseils médicaux et de santé mentale, comme par exemple la consommation de vin. peut "prévenir le cancer".
Cette tendance à inventer des « faits » est un phénomène connu sous le nom d’hallucination, et elle se produit en raison de la manière dont les LLM actuels (et tous les modèles d’IA générative) sont développés et entraînés.
Modèles de formation
Les modèles d’IA générative n’ont pas de véritable intelligence : ce sont des systèmes statistiques qui prédisent des mots, des images, de la parole, de la musique ou d’autres données. Alimentés par un grand nombre d'exemples, généralement obtenus sur le Web public, les modèles d'IA apprennent la probabilité d'occurrence de données en fonction de modèles, y compris le contexte des données environnantes.
Par exemple, étant donné un e-mail typique qui se termine par le fragment « Looking forward… », un LLM pourrait le compléter par « … pour recevoir une réponse », suivant le modèle des innombrables e-mails sur lesquels il a été formé. Cela ne veut pas dire que le LLM attend quoi que ce soit.
"Le cadre actuel de formation LLM implique de cacher ou de "masquer" les mots précédents pour le contexte" et de demander au modèle de prédire quels mots devraient remplacer les mots cachés, a déclaré le chercheur Sebastian Berns, Ph.D. de l'Université Queen Mary de Londres. "C'est conceptuellement similaire à l'utilisation de texte prédictif sur iOS et à l'appui continu sur l'un des mots suggérés suivants."
Cette approche basée sur les probabilités fonctionne remarquablement bien à grande échelle, pour la plupart. Mais même si la variété des mots et leur probabilités aboutir à un texte qui ait du sens, c'est loin d'être certain.
Les LLM peuvent produire quelque chose de grammaticalement correct mais dénué de sens, par exemple, comme la déclaration sur le Golden Gate. Ou encore, ils peuvent mentir, propageant des inexactitudes dans leurs données d’entraînement. Ils peuvent également combiner différentes sources d’information, y compris des sources fictives, même si ces sources se contredisent clairement.
Ce n'est pas malveillant de la part des LLM. Ils n’ont aucune méchanceté et les concepts de vrai et de faux n’ont aucun sens pour eux. Ils ont simplement appris à associer certains mots ou expressions à certains concepts, même si ces associations ne sont pas précises.
"Les "hallucinations" sont liées à l'incapacité d'un LLM à estimer l'incertitude de sa propre prédiction", a déclaré Berns. « Un LLM est généralement formé pour toujours produire un résultat, même lorsque les données d'entrée sont très différentes des données de formation. Un LLM standard n'a aucun moyen de savoir s'il est capable de répondre de manière fiable à une requête ou de faire une prédiction.
Résoudre les hallucinations
La question est : les hallucinations peuvent-elles être résolues ? Cela dépend de ce que vous entendez par « résolu ».
Vu Ha, chercheur et ingénieur à l'Allen Institute for Artificial Intelligence, déclare que les LLM « étonnent et étonneront toujours ». Mais il pense également qu'il existe des moyens concrets de réduire, mais pas d'éliminer, les hallucinations, en fonction de la manière dont un LLM est formé et déployé.
"Envisagez un système de questions-réponses", a déclaré Ha. "Il est possible de le concevoir pour avoir une grande précision en sélectionnant une base de connaissances de questions et réponses de haute qualité, et en connectant cette base de connaissances avec un LLM pour fournir des réponses précises à travers un processus similaire à la récupération.
Ha a illustré la différence entre un LLM avec une base de connaissances de « haute qualité » sur laquelle s’appuyer et un autre avec une conservation des données moins soignée. Il a posé la question « Qui sont les auteurs de l'article de Toolformer ? » (Toolformer est un modèle d'IA formé par Meta) via Bing Chat propulsé par LLM de Microsoft et Bard de Google. Bing Chat a correctement répertorié les huit co-auteurs de Meta, tandis que Bard a attribué à tort l'article aux chercheurs de Google et de Hugging Face.
« Tout système basé sur le LLM mis en œuvre vous époustouflera. La vraie question est de savoir si les avantages l'emportent sur les résultats négatifs provoqués par les hallucinations", a déclaré Ha. En d'autres termes, si un modèle ne cause aucun préjudice évident (par exemple, le modèle se trompe de temps en temps sur une date ou un nom). , mais c'est par ailleurs utile, donc cela vaut peut-être la peine de faire un compromis. "Il s'agit de maximiser l'utilité attendue de l'IA", a-t-il ajouté.
Berns a souligné une autre technique qui a été utilisée avec un certain succès pour réduire les hallucinations dans les LLM : l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF). Introduit par OpenAI en 2017, le RLHF implique de former un LLM, puis de collecter des informations supplémentaires pour former un modèle de « récompense », et d'affiner le LLM avec le modèle de récompense via le apprentissage par renforcement.
Dans RLHF, un ensemble d'invites provenant d'un ensemble de données prédéfinies est transmis via un LLM pour générer un nouveau texte. Des annotateurs humains sont ensuite utilisés pour classer les résultats du LLM en fonction de leur « utilité » globale : c'est-à-dire les données utilisées pour entraîner le modèle de récompense. Le modèle de récompense, qui à ce stade peut prendre n'importe quel texte et lui attribuer un score en fonction de la façon dont les humains le perçoivent, est ensuite utilisé pour affiner les réponses générées par le LLM.
OpenAI a tiré parti du RLHF pour former plusieurs de leurs modèles, y compris GPT-4. Mais même la RLHF n’est pas parfaite, a prévenu Berns.
"Je pense que l'espace des possibilités est trop grand pour" aligner "complètement les LLM sur les RLHF", a déclaré Berns. « Ce qui est souvent fait dans l'environnement RLHF est de former un modèle pour produire une réponse « Je ne sais pas », en s'appuyant principalement sur les connaissances de l'humain et en espérant que le modèle la généralise aux connaissances de son propre domaine. "C'est souvent comme ça, mais ça peut être un peu compliqué."
Philosophies alternatives
Supposer que l’hallucination est insoluble, du moins pas avec les LLM d’aujourd’hui, est-ce une mauvaise chose ? En fait, Berns ne le pense pas. Les modèles hallucinés pourraient alimenter la créativité en agissant comme un « partenaire co-créatif », postule-t-il, produisant des résultats qui ne sont peut-être pas entièrement factuels mais contiennent néanmoins des fils utiles sur lesquels s’appuyer. Les utilisations créatives des hallucinations peuvent produire des résultats ou des combinaisons d’idées qui peuvent ne pas venir à l’esprit de la plupart des gens.
"Les "hallucinations" constituent un problème si les déclarations générées sont factuellement incorrectes ou violent une valeur humaine, sociale ou culturelle spécifique, dans des scénarios où une personne s'appuie sur le LLM en tant qu'expert", a-t-il déclaré. « Mais dans les efforts créatifs ou artistiques, la capacité à générer des résultats inattendus peut s’avérer précieuse. "Un destinataire humain pourrait être surpris par la réponse à une question et ainsi être poussé vers une certaine direction de pensée qui pourrait conduire à une nouvelle connexion d'idées."
Ha a soutenu que les LLM d'aujourd'hui sont soumis à des normes déraisonnables : après tout, les humains « hallucinent » également lorsque nous nous souvenons mal ou déformons la vérité. Mais avec les LLM, il pense que nous sommes confrontés à une dissonance cognitive parce que les modèles produisent des résultats qui semblent bons en surface mais contiennent des erreurs après une inspection plus approfondie.
Bref, les LLM, comme toute technique de formation intelligence artificielle"Ils sont imparfaits et font donc des erreurs", a-t-il déclaré. « Traditionnellement, nous acceptons que les systèmes d’IA fassent des erreurs, car nous attendons et acceptons les imperfections. Mais il y a plus de nuances lorsque les LLM font des erreurs.
En fait, la réponse ne réside peut-être pas dans la manière dont les modèles d’IA générative fonctionnent au niveau technique. Dans la mesure où il n’existe aujourd’hui aucune « solution » aux hallucinations, traiter les prédictions des modèles avec un œil sceptique semble être la meilleure approche.
