Même après une formation à l'antiracisme, les chatbots d'IA tels que ChatGPT continuent d'afficher des préjugés raciaux

Des chercheurs qui ont testé des chatbots d'IA basés sur de grands modèles de langage comme le Chat GPT4 d'OpenAI ont découvert qu'ils pouvaient encore faire preuve de préjugés raciaux, même après avoir suivi une formation à l'antiracisme. Cette découverte fait suite à la récente publication par Google de l'étude Gemini AI de Google après que son nouveau LLM a sur-corrigé le racisme, générant ce que certains ont qualifié de "woke"l'IA Gemini a ainsi généré ce que certains ont appelé des réinterprétations "woke" de l'histoire, où des hommes afro-américains, par exemple, ont été représentés comme des soldats nazis de la Seconde Guerre mondiale. Il semble qu'il soit difficile pour les créateurs de modèles de LLM de trouver le juste équilibre en matière de race.

Dans la dernière étude, mise en lumière par New Scientist, les chercheurs ont découvert que des dizaines de modèles LLM différents qu'ils ont testés présentaient encore des préjugés raciaux lorsqu'on leur présentait des textes utilisant des dialectes afro-américains. Et ce, bien que les modèles testés aient été spécifiquement formés pour éviter les préjugés raciaux dans les réponses fournies par les chatbots. Il s'agit notamment du modèle ChatGPT-4 et GPT-3.5 d'OpenAI. Dans un cas, le modèle GPT-4 s'est avéré plus enclin à recommander une condamnation à mort s'il s'exprimait en anglais avec un dialecte afro-américain.

Le même "préjugé caché" était également apparent dans les recommandations d'emploi qui associaient les Afro-Américains à des carrières moins susceptibles d'exiger un diplôme ou qui allaient jusqu'à associer les personnes d'origine afro-américaine à un emploi, par rapport à l'entrée standard basée sur l'anglais américain. Les chercheurs ont également constaté que plus le modèle linguistique est grand, plus il est susceptible de présenter ces biais sous-jacents. L'étude soulève des inquiétudes quant à l'utilisation des technologies d'IA générative à des fins de sélection, y compris l'examen des candidatures à un emploi.

Les chercheurs ont conclu que leur étude soulève des questions quant à l'efficacité des interventions de formation à la sécurité de l'IA basée sur l'humain, qui ne semblent éliminer le racisme et les préjugés qu'à un niveau élevé, mais qui peinent à les extirper des modèles actuels à un niveau inférieur, lorsque la terminologie spécifique de l'identité raciale n'est pas mentionnée lors de la saisie des données par les utilisateurs. Les chercheurs recommandent aux entreprises qui développent des LLM de faire preuve de prudence avant de mettre à la disposition du public des chatbots LLM avant qu'ils n'aient fait l'objet d'un examen approfondi.