La nouvelle fonction ChatGPT d'OpenAI peut alerter une personne de confiance en cas de crise de santé mentale

OpenAI a lancé une nouvelle fonctionnalité de contact de confiance pour ChatGPT, permettant aux utilisateurs de désigner un contact adulte que l'entreprise peut contacter si elle détecte un risque pour la santé mentale de l'utilisateur au cours d'une conversation. La fonction "Contact de confiance" est déployée pour les utilisateurs de ChatGPT à partir du 7 mai et est disponible pour les utilisateurs du monde entier.

"Les experts identifient le lien social comme l'un des facteurs de protection les plus importants pour réduire le risque de suicide. Trusted Contact est conçu pour encourager la connexion avec une personne en qui l'utilisateur a déjà confiance. Il ne remplace pas les soins professionnels ou les services de crise, et constitue l'une des nombreuses mesures de protection destinées à soutenir les personnes en détresse. ChatGPT continuera d'encourager les utilisateurs à contacter les lignes téléphoniques d'urgence ou les services d'urgence, le cas échéant", a expliqué l'équipe de sécurité d'OpenAI, , dans un billet de blog.

Le contact de confiance est limité à un adulte de plus de 18 ans (ou 19 ans en Corée du Sud) qui peut être sélectionné dans les paramètres de ChatGPT. Il n'est pas nécessaire que le contact de confiance ait un compte ChatGPT, mais cela facilite l'envoi d'une notification. Une fois que la personne de confiance a été choisie, si un utilisateur a une discussion sérieuse sur l'automutilation, ChatGPT peut inviter l'utilisateur en question à contacter sa personne de confiance, ou à contacter lui-même sa personne de confiance après qu'une petite équipe a examiné la situation.

Les entreprises spécialisées dans l'IA se heurtent aux limites de la dépendance émotionnelle

Ce lancement intervient alors que les entreprises d'IA sont confrontées à un examen de plus en plus minutieux de la manière dont les chatbots interagissent avec les utilisateurs vulnérables. Ces dernières années, des systèmes tels que ChatGPT et Claude ont été critiqués à plusieurs reprises pour avoir validé des idées délirantes, renforcé la paranoïa ou provoqué une escalade émotionnelle chez des utilisateurs fragiles au lieu de les ramener à la raison.

La question est devenue suffisamment importante pour que des termes tels que "psychose de l'IA" aient fait leur apparition dans le débat public, reflétant une inquiétude croissante quant à la persuasion émotionnelle que l'IA conversationnelle peut devenir lorsque les utilisateurs la traitent comme un confident, un thérapeute ou un compagnon.

OpenAI semble parfaitement consciente de cette pression. Dans son annonce, l'entreprise reconnaît expressément que certains utilisateurs ont connu de graves crises de santé mentale en interagissant avec des systèmes d'IA.

"Bien que ces situations de sécurité graves soient rares, lorsqu'elles surviennent, nos systèmes sont conçus pour permettre un examen et une réponse rapides. Bien qu'aucun système ne soit parfait et qu'une notification à un contact de confiance ne reflète pas toujours exactement ce que vit une personne, chaque notification est soumise à un examen humain qualifié avant d'être envoyée, et nous nous efforçons d'examiner ces notifications de sécurité en moins d'une heure", a écrit l'équipe de sécurité d'OpenAI.

Il y a lieu de penser que la surveillance accrue des utilisateurs par des entreprises d'IA sensibles aux poursuites judiciaires peut se retourner contre eux, car ceux qui sont le plus exposés trouvent des solutions pour éviter de déclencher la censure. Mais il est clair que Trusted Contact, ou quelque chose de similaire, allait être développé de toute façon. Il y a un équilibre à trouver entre la protection des utilisateurs et la validation de leurs moindres pensées par l'IA, mais la limite n'est pas clairement définie et nous continuerons à trébucher dans l'obscurité jusqu'à ce que nous l'ayons trouvée.