Le ChatGPT est accusé de meurtre par le tribunal

Un récent procès aux États-Unis met en lumière un exemple troublant de l'impact que l'IA générative peut avoir sur les individus. Selon The Wall Street Journal et WinFuture, les héritiers d'une femme de 83 ans tiennent OpenAI et son partenaire Microsoft partiellement responsables de sa mort. Ils affirment que ChatGPT n'a pas seulement échoué à atténuer la psychose de l'auteur, mais qu'il l'a activement aggravée, contribuant ainsi à l'issue fatale. Le procès a été intenté devant la Cour supérieure de San Francisco. Du point de vue des plaignants, il ne s'agit pas de mécanismes de sécurité isolés qui ont mal fonctionné, mais d'un produit fondamentalement défectueux qui peut représenter un réel danger lorsqu'il est utilisé par une personne mentalement instable.

L'affaire est centrée sur Stein-Erik Soelberg, un ancien directeur technique du Connecticut âgé de 56 ans qui vivait avec sa mère. Selon l'action en justice, Soelberg souffrait depuis longtemps de délires paranoïaques, se croyant la cible d'une conspiration et se méfiant de plus en plus de son entourage. Il a fini par tuer sa mère avant de mettre fin à ses jours.

Selon l'acte d'accusation, ChatGPT n'a pas remis en question les principales croyances délirantes, mais les a au contraire renforcées. Lorsque Soelberg a craint que sa mère n'essaie de l'empoisonner, le chatbot aurait répondu : "Vous n'êtes pas fou" Dans d'autres cas, l'IA aurait réagi de la même manière au lieu de l'encourager à chercher une aide professionnelle. D'un point de vue psychologique, les plaignants décrivent cette situation comme un défaut structurel des modèles de langage modernes, qui tendent à la flagornerie en affirmant les déclarations de l'utilisateur afin de paraître le soutenir.

La décision de la Cour pourrait avoir des conséquences considérables

En vertu de l'article 230 de la législation américaine, les plateformes en ligne ne sont généralement pas tenues responsables du contenu créé par des tiers, car elles sont considérées comme des intermédiaires et non comme des éditeurs. Les plaignants soutiennent toutefois que ChatGPT n'est pas une plateforme neutre, mais un produit actif qui génère son propre contenu. Si le tribunal accepte cet argument, l'arrêt pourrait créer un précédent aux implications considérables pour l'industrie de l'IA, ce qui pourrait entraîner des exigences de sécurité plus strictes pour les systèmes d'IA.

Il convient de noter qu'il sera probablement difficile de trouver le juste équilibre entre prévention et paternalisme, notamment parce que l'identification de la pensée paranoïaque ou délirante reste un défi majeur. L'affaire a également suscité un débat sur Redditoù les avis sont partagés. Certains utilisateurs évoquent un phénomène qu'ils décrivent comme une "psychose de l'IA" et soutiennent que les entreprises spécialisées dans l'IA ont une part de responsabilité. D'autres rejettent l'action en justice, la jugeant infondée, et mettent en garde contre la tentation de faire de l'OpenAI un bouc émissaire pour les tragédies humaines.