Hallucinations liées à l'IA : Des chercheurs ont trouvé la cause - et une solution

Les assistants d'intelligence artificielle sont étonnamment doués pour inventer des informations et les présenter comme des faits. Les fausses affirmations, les sources fictives et les citations fabriquées font partie du mélange. Ces erreurs sont communément appelées hallucinations. De nombreux utilisateurs se sont probablement habitués à ce problème et dépendent souvent de leur propre vérification des faits pour séparer la vérité de la fiction. Mais , selon OpenAIil existe peut-être une alternative. Le 5 septembre, l'entreprise à l'origine de ChatGPT a publié un document détaillé qui propose une nouvelle explication du phénomène des hallucinations et une solution potentielle.

La devinette est récompensée, l'incertitude est punie

Le document de 36 pages https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdfrédigé par Adam Kalai, Santosh Vempala de Georgia Tech et d'autres chercheurs de l'OpenAI, montre clairement que les hallucinations ne sont pas dues à une écriture bâclée, mais à la manière dont les mesures d'évaluation actuelles sont mises en place. Ces mesures ont tendance à récompenser les suppositions sûres et à pénaliser les expressions d'incertitude. Les chercheurs comparent cette situation à celle des tests à choix multiples : ceux qui devinent peuvent marquer des points, tandis que ceux qui laissent les questions en blanc n'obtiennent rien. Statistiquement, le modèle de devinettes est le plus performant, même s'il fournit souvent des informations incorrectes.

Par conséquent, les classements actuels - qui évaluent les performances de l'IA - se concentrent presque exclusivement sur la précision, négligeant à la fois les taux d'erreur et l'incertitude. L'OpenAI appelle aujourd'hui à un changement. Au lieu de se contenter de comptabiliser les bonnes réponses, les tableaux de bord devraient pénaliser plus fortement les erreurs commises en toute confiance, tout en accordant un certain crédit à l'abstention prudente. L'objectif est d'encourager les modèles à reconnaître l'incertitude plutôt que de présenter en toute confiance de fausses informations comme des faits.

Moins de devinettes, plus d'honnêteté

Un exemple tiré de l'article montre la différence que cette approche peut faire. Dans l'étude comparative SimpleQA, un modèle a choisi de ne pas répondre à plus de la moitié des questions, mais s'est trompé dans seulement 26 % des réponses qu'il a fournies. Un autre modèle a répondu à presque toutes les questions, mais a eu des hallucinations dans environ 75 % des cas. La conclusion est claire : il est plus digne de confiance de montrer son incertitude que de faire des suppositions sûres qui ne font que donner l'illusion de la précision.