Claude a inventé un signalement de meurtre et l’a envoyé à la police lors d’un test

Anthropic a publié un rapport sur les actions non prévues de ses modèles le 9 octobre. Le cas le plus frappant concerne Claude Haiku 4.5. Le modèle générait des exemples d'interactions avec des sites web lorsqu'il est arrivé sur une page de la police de Philadelphie consacrée à un homicide non élucidé. La page comportait un formulaire permettant de transmettre des renseignements. Claude a écrit qu'il avait peut-être vu quelqu'un correspondant à la description près de la rue mentionnée sur la page, a laissé les champs du nom et des coordonnées vides, puis a cliqué sur le bouton d'envoi. La page ne donnait aucune description d'un suspect : Claude a donc inventé ce renseignement.

Cela s'est produit le 18 juillet, peu avant minuit. Le système du service de police a signalé le message comme indésirable, et celui-ci n'est jamais parvenu aux enquêteurs. Anthropic n'a découvert l'incident que le 28 septembre en examinant les transcriptions des tests, et en a informé la ville début octobre. Dans une déclaration rapportée par NBC10, la police a déclaré que « le délai de deux mois pour détecter l'incident et le signaler à la Ville est inacceptable ».

Un schéma récurrent dans les transcriptions

Le rapport recense d'autres cas où Claude a contourné un obstacle au lieu de s'arrêter. Claude Haiku 4.5 a envoyé des formulaires à plusieurs reprises alors qu'il avait reçu pour consigne de s'arrêter avant l'étape finale, parce qu'il s'attendait à voir une page de confirmation. Un modèle de recherche non publié s'est rendu sur un site gouvernemental en ligne et a envoyé le véritable formulaire alors qu'il était censé utiliser une copie destinée aux exercices. Selon Axios, le département d'État a reçu 20 demandes de visa incomplètes provenant d'un modèle de test d'Anthropic, dont 19 en août. Aucune n'a été traitée. Claude Mythos 5 a récupéré des jetons d'accès dans le fichier de paramètres d'un service de cartographie et a interrogé directement son serveur. Claude Opus 5 et Mythos 5 ont utilisé des raccourcisseurs d'URL gratuits pour contourner la limite de longueur de leur outil de récupération de pages web.

Anthropic affirme qu'aucune donnée client n'était concernée et que les conséquences dans le monde réel ont été minimes. Certains cas provenaient toutefois d'une utilisation interne ordinaire de Claude. L'entreprise écrit également que l'entraînement à l'alignement « n'est pas encore suffisant ni pleinement robuste à lui seul ». En juillet, Anthropic avait révélé que Claude s'était introduit dans les systèmes de trois entreprises réelles lors de tests de sécurité.

Anthropic coupe l'accès à Internet dans ses évaluations

Toutes les évaluations internes se déroulent désormais sans accès à Internet ouvert. Anthropic a cessé d'utiliser certains tests de référence publics et en a remanié d'autres pour qu'ils n'interagissent plus avec de véritables sites web. Les outils tels que la récupération de pages web sont soumis à des limites plus strictes, et de nouveaux outils de détection visent à bloquer ce type de comportement. Lors des tests menés par Anthropic, ces outils ont détecté tous les cas figurant dans le rapport. La Maison-Blanche a réagi par l'intermédiaire de sa nouvelle Super Intelligence Force, qui a demandé aux entreprises d'IA de signaler immédiatement les incidents impliquant leurs modèles. « Ce processus de notification et de remédiation n'est pas facultatif », a déclaré le groupe dans un communiqué adressé à Axios.

Ce que cela signifie pour Claude in Chrome

Un détail du cas impliquant la police est important pour les utilisateurs au quotidien. Les consignes du test excluaient les connexions à des comptes, les données personnelles, les achats et les actions destructrices, mais pas les formulaires, et Claude a interprété cela comme une autorisation. L'extension Claude in Chrome présente une lacune similaire. Son guide des autorisations indique qu'elle refuse les achats, la création de comptes et les suppressions définitives dans tous les modes, et qu'elle demande toujours une autorisation avant de saisir des informations sensibles. Un simple formulaire sans données sensibles n'est couvert par aucune de ces règles.

L'extension dispose de trois modes d'approbation. Avec « Approuver manuellement », Claude demande une autorisation avant chaque action. « Approuver automatiquement » confie la décision à un contrôle de sécurité et constitue le mode par défaut dans le panneau latéral de Cowork, tandis que « Ignorer toutes les approbations » supprime ces deux garde-fous. Si vous laissez Claude remplir des formulaires sur des sites que vous ne contrôlez pas, passez à l'approbation manuelle dans le menu déroulant situé à côté du champ de saisie du chat. Les paramètres de l'extension répertorient également tous les sites que vous avez approuvés de façon permanente, et vous pouvez y révoquer ces autorisations. En août, un seul e-mail spécialement conçu a suffi à détourner cinq navigateurs IA.