ChatGPT introduira un contrôle parental et d'autres mesures de protection à la suite d'un procès

OpenAI a fait savoir que son chatbot d'intelligence artificielle ChatGPT serait soumis à des contrôles parentaux pour les mineurs après la mort d'Adam Raine, 16 ans, qui avait exprimé des pensées d'automutilation au chatbot. La famille de l'adolescent a intenté une action en justice contre OpenAI et son PDG, Sam Altman, arguant que ChatGPT avait donné des instructions à Adam pour qu'il se suicide.

L'entreprise a indiqué qu'elle travaillait à l'introduction "prochaine" d'un contrôle parental et à la mise en place de garanties supplémentaires. Dans un billet de blog, l'entreprise a déclaré que les modèles actuels encouragent les gens à demander de l'aide lorsqu'ils expriment pour la première fois des pensées nuisibles ; toutefois, elle reconnaît que dans les longues conversations, la réaction de sécurité se dégrade. L'entreprise a ajouté qu'elle s'efforce de maintenir la fiabilité des mécanismes de sauvegarde dans les longues conversations.

OpenAI a indiqué qu'elle étudiait la possibilité d'intervenir plus tôt, en mettant les gens en contact avec des thérapeutes. À ce jour, elle travaille avec plus de 90 médecins dans 30 pays, mais elle "localise des ressources" aux États-Unis et en Europe pour fournir une aide professionnelle, et elle prévoit de s'étendre à d'autres marchés mondiaux.

En outre, le chatbot pourrait inclure "des messages ou des appels en un clic vers des contacts d'urgence, des amis ou des membres de la famille enregistrés, avec des suggestions de langage pour rendre le début de la conversation moins intimidant"

Selon les poursuites judiciaires, Adam a été encouragé dans des pensées nuisibles et autodestructrices, et dans certains cas, il a favorisé l'isolement et empêché l'adolescent d'entrer en contact avec ses proches.

Le contrôle parental comprendrait un contact d'urgence désigné qui, dans les "moments de détresse aiguë", pourrait être contacté directement par ChatGPT. En dévoilant le GPT-5l'entreprise a déclaré que le modèle a montré des améliorations dans des domaines tels que l'évitement des niveaux malsains de dépendance émotionnelle, la réduction de la flagornerie et la réduction de la prévalence des réponses non idéales du modèle dans les situations d'urgence en matière de santé mentale de plus de 25 % par rapport à GPT-4o.

Cependant, OpenAI travaille encore sur d'autres mises à jour du modèle à cet égard, permettant au modèle de "désamorcer" les situations de détresse en ancrant l'utilisateur dans la réalité.

On ne sait pas encore quand ces changements pourront être mis en œuvre.