Intelligence artificielle : les chatbots restent inventifs

Quiconque demande quelque chose à ChatGPT espère obtenir des réponses factuellement correctes. Sur du code qui fonctionne. Pour résoudre correctement des problèmes mathématiques. Des livres résumés avec précision. Corriger les données dans les biographies et corriger les quantités dans les recettes. Mais dans la pratique, ce n’est souvent pas le cas. Des groupes de recherche du monde entier travaillent sur des méthodes pour empêcher cela. Mais jusqu’à présent, ils n’ont réussi qu’à limiter les hallucinations, mais pas à les empêcher complètement, rapporte MIT Technology Review dans son numéro actuel.

Publicité

Il existe de nombreuses hypothèses sur comment et pourquoi les grands modèles linguistiques hallucinent. “Les mécanismes des hallucinations de l’IA ne sont pas encore entièrement compris”, déclare Iryna Gurevych, directrice du laboratoire de traitement des connaissances omniprésentes à la TU Darmstadt. “Ce qui est lié au fait qu’il est difficile de comprendre les processus internes d’un grand modèle de langage.”

Différentes définitions des hallucinations de l’IA

La définition du problème est déjà étonnamment complexe : Une étude d’enquête de l’Université des sciences et technologies de Hong Kong (HKUST) répertorie différents types d’hallucinations de l’IA, chacune dépendant de la tâche et du contexte – c’est-à-dire de la demande actuelle – d’un modèle de langage. Si la réponse contredit les informations contenues dans la question (hallucination interne) ou si elle ajoute des informations supplémentaires à une requête qui ne peuvent pas être facilement vérifiées (hallucination extrinsèque). Si le modèle doit faire référence à la connaissance du monde acquise (factualité) ou doit être cohérent avec le contexte existant (fidélité). Cela entraîne des hallucinations qui incluent des erreurs factuelles ainsi que des informations invérifiables, des déclarations absurdes et des scénarios invraisemblables. Et seules certaines de ces formes d’hallucinations peuvent réellement être combattues grâce à la technologie.

L’une des choses les plus faciles à reconnaître sont les hallucinations réelles. Pour limiter cela, une technique appelée Retrieval Augmented Generation (RAG) est généralement utilisée. « Ici, le modèle linguistique est élargi pour inclure un deuxième composant de connaissances externe », explique Patrick Schramowski, chercheur au Centre allemand de recherche sur l’intelligence artificielle (DFKI). Avant que le modèle ne génère une réponse, il extrait les informations pertinentes de la requête et les compare avec ses connaissances paramétriques et formées ainsi qu’avec des sources externes telles que l’Internet ouvert ou des bibliothèques spécialisées. Cela rend les réponses plus fiables, notamment en ce qui concerne l’actualité ou dans les dialogues. “Mais dans l’idéal, le système aurait encore besoin d’une vérification des faits pour vérifier ces connaissances externes. C’est là que les choses se compliquent”, explique Schramowski.

Possibilité de vérification des faits

D’une part, une comparaison avec des sources externes ne fonctionne que si ces sources sont fiables. Par exemple, de nombreux travaux avec RAG s’appuient sur Wikipédia. Cependant, leur exactitude est évaluée de manière très différente en science – de 80 à plus de 99 pour cent – selon les articles que les auteurs ont vérifiés. D’un autre côté, les modèles linguistiques ne « comprennent » pas vraiment le sens d’une déclaration. La question de savoir si les déclarations concordent avec celles d’une source externe est donc généralement vérifiée à l’aide d’une fonction mathématique qui ne peut calculer que la similitude formelle des deux déclarations. Le fait qu’une affirmation soit finalement classée comme vraie ou fausse dépend de divers détails.

Le manque de transparence de nombreux modèles est également désavantageux. “ChatGPT est une boîte noire. Vous pouvez l’utiliser pour mener des recherches en posant plusieurs fois différentes requêtes et en analysant les résultats. Cela convient aux observations critiques. Mais lorsqu’il s’agit d’améliorer les modèles, les modèles ouverts nous offrent plus de possibilités aux chercheurs”, déclare Schramowski. Avec des modèles propriétaires et fermés comme ChatGPT, seuls les fabricants peuvent agir contre les hallucinations.

Lisez la revue technologique du MIT ici :

(wst)