Une étude montre que les chatbots d'IA fournissent des informations moins précises aux utilisateurs vulnérables

Les grands modèles linguistiques ont été largement présentés comme des outils révolutionnaires capables de démocratiser l'accès à l'information à l'échelle mondiale. Toutefois, de nouvelles recherches menées par le Massachusetts Institute of Technology Center for Constructive Communication indiquent que ces systèmes d'intelligence artificielle sont systématiquement sous-performants pour les groupes démographiques vulnérables qui pourraient en bénéficier le plus.

Présentée lors de la conférence de l'AAAI sur l'intelligence artificielle, l'étude a porté sur des chatbots de pointe, notamment le GPT-4 d'OpenAI, l'Opus Claude 3 d'Anthropic et le Llama 3 de Meta. Les chercheurs ont testé les modèles en utilisant les ensembles de données TruthfulQA et SciQ pour mesurer l'exactitude et la véracité des faits, tout en ajoutant des biographies d'utilisateurs qui varient en fonction du niveau d'éducation, de la maîtrise de l'anglais et du pays d'origine. Les résultats ont montré une baisse significative de l'exactitude pour les utilisateurs ayant un niveau d'éducation moins élevé ou une moins bonne maîtrise de l'anglais. Ces effets négatifs sont encore plus marqués pour les utilisateurs qui se situent à l'intersection de ces deux catégories.

La recherche a également mis en évidence des disparités alarmantes dans la manière dont les modèles traitent les requêtes. Claude 3 Opus, par exemple, a refusé de répondre à près de 11 % des questions posées par des personnes moins instruites et dont l'anglais n'est pas la langue maternelle, contre seulement 3,6 % pour les utilisateurs témoins. Dans la plupart de ces refus, le modèle a répondu avec un langage condescendant, condescendant ou moqueur, imitant parfois un anglais approximatif. Les modèles ont également retenu des informations factuelles sur des sujets tels que l'énergie nucléaire et les événements historiques, en particulier pour les utilisateurs moins instruits originaires de pays tels que l'Iran ou la Russie, bien qu'ils aient répondu correctement aux mêmes questions pour d'autres profils démographiques.

Les chercheurs avertissent qu'avec la généralisation des fonctions de personnalisation, ces biais sociocognitifs inhérents risquent d'exacerber les inégalités existantes en matière d'information en diffusant discrètement des comportements préjudiciables et des informations erronées à ceux qui sont le moins à même de les identifier.