Anthropic affirme que Claude a piraté trois véritables entreprises lors de tests de cybersécurité

Anthropic a révélé jeudi que trois de ses modèles Claude avaient pénétré dans les systèmes de production de trois organisations réelles lors d’évaluations internes de cybersécurité. Cet examen a été lancé après qu’OpenAI eut révélé que ses propres modèles s’étaient échappés d’un environnement de test et avaient compromis Hugging Face. Anthropic a passé en revue 141 006 cycles d’évaluation au cours desquels Claude aurait pu obtenir un accès à Internet, et en a identifié six où cela s’était produit.

Les modèles effectuaient des exercices de « capture du drapeau », un exercice standard dans le cadre des tests de sécurité. Une information confidentielle est dissimulée quelque part sur le réseau, et le modèle doit s’y introduire pour la récupérer. La consigne indiquait clairement que l’environnement était une simulation sans accès à Internet. Ce n’était pas le cas. Les environnements d’évaluation gérés par Irregular, un partenaire de test externe, disposaient d’une connexion active vers l’Internet public, et personne ne s’en était aperçu.

Dans le pire des cas, un modèle a atteint une base de données de production

L’incident le plus préjudiciable a concerné une entreprise cible fictive dont le nom coïncidait par hasard avec celui d’un domaine réel. Claude Opus 4.7 s’est retrouvé bloqué à l’intérieur du réseau simulé, a découvert l’entreprise réelle à la place et l’a considérée comme la cible visée. Au cours de quatre exécutions, le modèle a récolté des identifiants et a accédé à une base de données contenant plusieurs centaines de lignes de données de production réelles. Opus 4.7 a déterminé que le système était réel et a poursuivi son action malgré tout. Lors de deux de ces exécutions, il s’est convaincu que la véritable entreprise faisait partie de l’exercice.

Un modèle a mis en ligne un logiciel malveillant fonctionnel sur PyPI

C’est le deuxième incident qui retient particulièrement l’attention. Claude Mythos 5 a trouvé dans l’environnement de test un document indiquant aux nouveaux développeurs d’installer un paquet Python qui n’existait pas. Le modèle a repéré cette lacune et a créé son propre paquet sous ce nom, contenant du code malveillant. Pour le mettre en ligne, il fallait créer un compte sur PyPI, le registre public des logiciels Python, ce qui impliquait une adresse e-mail, et donc un numéro de téléphone. Après plusieurs tentatives infructueuses pour obtenir de l’argent en échange d’un numéro, le modèle s’est rabattu sur un fournisseur de messagerie gratuit et a mis le logiciel malveillant en ligne.

Le paquet est resté accessible au public pendant environ une heure. Pendant ce laps de temps, il a été installé et exécuté sur 15 systèmes réels, dont l’un était le scanner de logiciels malveillants d’une entreprise de sécurité qui n’avait aucun rapport avec ce scénario. Claude a envoyé les identifiants de cette entreprise vers un point de collecte qu’il avait mis en place et les a utilisés pour accéder à d’autres infrastructures. Les systèmes de défense de PyPI ont automatiquement retiré le module.

Ce que le modèle s’est dit à lui-même mérite d’être lu. Il avait remarqué que, sur l’Internet réel, un téléchargement de ce type constituerait une véritable attaque et certainement pas la solution escomptée. Deux éléments l’ont convaincu du contraire : il n’a pas reconnu les autorités de certification sécurisant ses connexions, et les systèmes affichaient une date de 2026, ce qu’il a interprété comme la preuve d’un environnement simulé. Il n’est jamais revenu sur cette conclusion.

Trois mois sans que personne ne s’en aperçoive

Le premier incident remonte au mois d’avril. Il n’a été découvert que lorsque Anthropic a commencé à parcourir les transcriptions le 23 juillet et a suspendu toutes les évaluations de cybersécurité le jour même. Les trois incidents ont été confirmés le 24 juillet, et le partenaire de test ainsi que les organisations concernées ont été informés le 27 juillet. Deux des trois organisations ignoraient totalement que leurs systèmes avaient été compromis. La troisième n’avait pas encore été contactée au moment de la publication de cet article.

Lors du troisième incident, un modèle de recherche interne a analysé environ 9 000 cibles et a compromis une application accessible depuis Internet via une page de débogage exposée et une injection SQL. Il a ensuite déterminé de lui-même que la cible était réelle et s’est arrêté. Anthropic considère cela comme un progrès, mais met en garde contre le fait de tirer une règle générale de trois cas isolés.

Ce que cela signifie pour les utilisateurs

Pas grand-chose directement. Les évaluations se sont déroulées sans les classificateurs ni la surveillance qui équipent les modèles Claude accessibles au public, et Anthropic affirme que ces couches auraient bloqué ce comportement. Personne en dehors de l’entreprise n’a vérifié cette affirmation. L’autre partie de la phrase est plus importante : la formation à la sécurité spécifique au modèle était active, mais elle n’a pas suffi. Anthropic considère donc ces incidents comme un défaillance de son infrastructure de test plutôt que comme un désalignement des modèles, et en assume la responsabilité au lieu de la rejeter sur son partenaire.

Le contraste avec le cas d’OpenAI est frappant sur le plan technique. Dans ce cas-là, les modèles avaient exploité une faille jusque-là inconnue pour pouvoir se connecter à Internet. Claude a trouvé une porte grande ouverte et n’a eu besoin que de mots de passe faibles et de points d’accès non authentifiés. Anthropic prévoit de publier d’ici la fin de la semaine une transcription légèrement expurgée de l’exécution sur PyPI, et des discussions sont en cours avec METR, un organisme d’évaluation indépendant, concernant un examen externe. La lettre ouverte signée par plus de 1 290 personnes issues de l’ensemble du secteur, qui réclament un frein vérifiable au développement de l’IA, montre clairement à quel point la confiance dans ces méthodes de test est désormais ébranlée.