"ChuckyGPT" : L'ours en peluche d'IA pour les tout-petits donne des réponses dangereuses - OpenAI le bloque
L'OpenAI a banni le fabricant de jouets chinois FoloToy en raison des inquiétudes suscitées par l'un de ses produits d'IA. Cette décision fait suite à une enquête menée sur le site par le groupe de défense des consommateurs U.S. PIRGqui a évalué plusieurs jouets dotés d'une IA dans le cadre de son rapport annuel " Trouble in Toyland ". Parmi eux, l'ours en peluche Kumma de FoloToy, basé sur le GPT-4o d'OpenAI, a présenté de graves problèmes de sécurité au cours des tests.
Le rapport de PIRG décrit comment l'ours en peluche IA a donné aux enfants des instructions sur la manière d'allumer des allumettes, ce qui constitue un grave danger pour un produit commercialisé comme un compagnon interactif pour les jeunes enfants. Tout aussi troublant, le jouet a également répondu à des questions sur des sujets sexuels. Les testeurs ont exprimé d'autres préoccupations concernant les violations potentielles de la vie privée, notamment le risque que les voix des enfants soient enregistrées et utilisées à des fins frauduleuses. La surveillance audio constante du jouet a également été signalée comme un problème majeur.
L'incident a également suscité des discussions sur Redditoù le consensus général est que l'utilisation de l'IA dans des jouets pour enfants sans mesures de sécurité strictes est hautement irresponsable. Comme on pouvait s'y attendre, le fil de discussion fait la part belle au sarcasme, certains utilisateurs établissant un parallèle avec les scénarios apocalyptiques de l'IA et surnommant l'ours en peluche "ChuckyGPT" Quelques commentateurs ont suggéré que les réponses inappropriées pourraient avoir été déclenchées par des tentatives délibérées de jailbreak, bien que cette affirmation n'ait pas été vérifiée.
OpenAI a réagi a réagi rapidement aux conclusions de l'enquête. " Je peux confirmer que nous avons suspendu ce développeur pour avoir violé nos politiques", a déclaré un porte-parole de l'entreprise à PIRG par courriel. FoloToy a également pris des mesures immédiates en interrompant la vente de tous ses produits. " Suite aux inquiétudes soulevées dans votre rapport, nous avons temporairement suspendu les ventes de tous les produits FoloToy [...] Nous procédons actuellement à un audit de sécurité de bout en bout à l'échelle de l'entreprise pour tous les produits", a déclaré l'entreprise. L'ours en peluche Kumma est toujours disponible sur le site web de FoloToyil apparaît désormais comme "épuisé"
Source(s)
OpenAi par e-mail à PIRG
Source de l'image : Erik Mclean/Pexels ; Alexas_Photos/Pixabay
