Hallucination de l’IA

Qu’est-ce qu’une hallucination de l’IA ?

On parle d’hallucination de l’IA lorsqu’un grand modèle de langage (LLM) comme le GPT4 d’OpenAI ou le PaLM de Google invente de fausses informations ou des faits qui ne sont pas basés sur des données ou des événements réels.

Avivah Litan, vice-présidente analyste chez Gartner, explique :

Les hallucinations sont des sorties complètement fabriquées à partir de grands modèles de langage. Bien qu’elles représentent des faits complètement inventés, les sorties LLM les présentent avec confiance et autorité.

Les chatbots pilotés par l’IA générative peuvent fabriquer n’importe quelle information factuelle. Qu’il s’agisse de noms, de dates, d’événements historiques, de citations ou même de codes.

Les hallucinations sont suffisamment courantes pour que l’OpenAI émette un avertissement aux utilisateurs de ChatGPT. Indiquant ainsi que “ChatGPT peut produire des informations inexactes sur des personnes, des lieux ou des faits”.

Le défi pour les utilisateurs est de faire le tri entre les informations vraies et celles qui ne le sont pas.

Exemples d’hallucinations de l’IA

Bien qu’il existe de nombreux exemples d’hallucinations de l’IA. L’un des cas les plus notables s’est produit dans le cadre d’une vidéo promotionnelle publiée par Google en février 2023. Son chatbot Bard affirmait alors à tort que le télescope spatial James Webb avait pris la première image d’une planète située en dehors du système solaire.

De même, dans la démo de lancement de Microsoft Bing AI en février 2023, Bing a analysé un rapport de résultats de Gap. Fournissant un résumé incorrect des faits et des chiffres.

Ces exemples montrent que les utilisateurs ne peuvent pas se permettre de faire confiance aux chatbots pour générer des réponses véridiques en permanence. Cependant, les risques posés par les hallucinations de l’IA vont bien au-delà de la diffusion de fausses informations.

En effet, selon l’équipe de recherche de Vulcan Cyber. ChatGPT peut générer des URL, des références et des bibliothèques de code qui n’existent pas. Il peut même recommander des logiciels potentiellement malveillants à des utilisateurs qui ne se doutent de rien.

Par conséquent, les organisations et les utilisateurs qui expérimentent les LLM et l’IA générative doivent faire preuve de diligence raisonnable lorsqu’ils travaillent avec ces solutions. Et  revérifier l’exactitude des résultats.

Quelles sont les causes des hallucinations de l’IA ?

Voici quelques-uns des principaux facteurs à l’origine des hallucinations de l’IA :

• Données d’entraînement obsolètes ou de mauvaise qualité ;
• Des données mal classées ou étiquetées ;
• Des erreurs factuelles, des incohérences ou des préjugés dans les données d’apprentissage ;
• Programmation insuffisante pour interpréter correctement les informations ;
• Absence de contexte fourni par l’utilisateur ;
• Difficulté à déduire l’intention des expressions familières, de l’argot ou du sarcasme.

Il est important de rédiger les messages-guides dans un langage simple et aussi détaillé que possible. Il incombe donc au fournisseur de mettre en œuvre une programmation et des garde-fous suffisants pour réduire le risque d’hallucinations.

Quels sont les dangers de l’hallucination de l’IA ?

L’un des principaux dangers de l’hallucination de l’IA est que l’utilisateur se fie trop à la précision des résultats du système d’IA.

Bien que certaines personnes, comme le PDG de Microsoft, Satya Nadella, aient affirmé que les systèmes d’IA tels que Microsoft Copilot pouvaient être “utilement erronés”. Ces solutions peuvent diffuser des informations fausses et des contenus haineux si elles ne sont pas contrôlées.

La désinformation générée par les systèmes d’IA est difficile à traiter. En effet ces solutions peuvent générer un contenu qui semble détaillé, convaincant et fiable sur le service mais qui, en réalité, est incorrect. Cela amenant l’utilisateur à croire à des faits et à des informations erronés.

Si les utilisateurs prennent pour argent comptant les contenus générés par l’IA, il est possible que des informations fausses et erronées se répandent sur l’ensemble d”internet.

Enfin, il existe également un risque de responsabilité juridique et de conformité. Par exemple, si une organisation utilise un service alimenté par l’IA pour communiquer avec ses clients. Que ce service émet des conseils qui endommagent la propriété de l’utilisateur ou régurgite du contenu offensant, elle s’expose à des poursuites judiciaires.

Comment détecter les hallucinations de l’IA ?

Le meilleur moyen pour un utilisateur de détecter les hallucinations d’un système d’IA est de vérifier manuellement les données fournies par la solution auprès d’une source tierce. La vérification des faits, des chiffres et des arguments par rapport à des sites d’information, des rapports industriels, des études et des livres via un moteur de recherche peut aider à vérifier si une information est correcte ou non.

Bien que la vérification manuelle soit une bonne option pour les utilisateurs qui souhaitent détecter les informations erronées. Il n’est pas toujours possible, dans un environnement d’entreprise, d’un point de vue logistique ou économique, de vérifier chaque segment d’information.

C’est pourquoi il est judicieux d’envisager l’utilisation d’outils automatisés pour vérifier que les solutions d’IA générative ne sont pas victimes d’hallucinations. Par exemple, l’outil open-source NeMo Guardrails de Nvidia peut identifier les hallucinations en comparant les résultats d’un LLM à ceux d’un autre.

De même, Got It AI propose une solution appelée TruthChecker, qui utilise l’IA pour détecter les hallucinations dans le contenu généré par GPT-3.5+.

Bien entendu, les organisations qui utilisent des outils automatisés tels que Nemo Guardrails et Got It AI pour vérifier les faits dans les systèmes d’IA doivent faire preuve de diligence raisonnable. Cela en vérifiant l’efficacité de ces solutions pour identifier les fausses informations. Ainsi procéder à une évaluation des risques. Et ainsi déterminer s’il y a d’autres mesures à prendre pour éliminer la responsabilité potentielle.

En bref

L’IA et les LLM peuvent débloquer des capacités intéressantes pour les entreprises. Cependant il est important que les utilisateurs soient conscients des risques et des limites de ces technologies afin qu’ils obtiennent les meilleurs résultats.

En fin de compte, les solutions d’IA offrent le plus de valeur lorsqu’elles sont utilisées pour augmenter l’intelligence humaine. Plutôt que de tenter de la remplacer.

Tant que les utilisateurs et les entreprises reconnaissent que les LLM ont le potentiel de fabriquer des informations et de vérifier les données de sortie ailleurs. Les risques de diffusion ou d’absorption de fausses informations sont minimisés.