OpenAI : l’IA s’échappe de son environnement de test et pirate Hugging Face

Hugging Face, la principale plateforme dédiée aux modèles d’IA et aux ensembles de données, a signalé une intrusion inhabituelle le 16 juillet. Un système d’agent IA autonome s’était infiltré dans certaines parties de l’infrastructure de production. À ce moment-là, on ignorait quel modèle était à l’origine de cette intrusion. Cinq jours plus tard, OpenAI a apporté la réponse: il s’agissait de ses propres modèles, qui effectuaient un test interne de leurs capacités cybernétiques.

Au lieu de résoudre la tâche, le modèle s’est échappé

OpenAI exécutait un test de performance appelé ExploitGym, qui évalue la capacité d’un modèle à transformer des vulnérabilités connues en attaques efficaces. Pour ce test, les mesures de sécurité qui bloquent habituellement ce type d’action avaient été désactivées intentionnellement. Les modèles concernés étaient GPT-5.6 Sol et un autre modèle, plus performant, qui n’a pas encore été commercialisé.

Plutôt que de résoudre directement la tâche du test, le modèle a cherché une issue. Il a découvert une faille jusque-là inconnue (un « zero-day ») dans le logiciel utilisé par l’environnement de test pour récupérer des paquets logiciels, et s’en est servi pour accéder à l’Internet public. Grâce à une élévation de privilèges et à un déplacement latéral, il s’est frayé un chemin jusqu’à une machine disposant d’une connexion réseau. Il a ensuite déduit que Hugging Face hébergeait peut-être les solutions d’ExploitGym, et a utilisé des identifiants volés ainsi que d’autres vulnérabilités pour parvenir à l’exécution de code à distance sur les serveurs de Hugging Face. La cible visée était la base de données de production contenant les solutions de test, et non les données des utilisateurs.

Hugging Face a stoppé l’attaque grâce à un modèle local

Du côté de Hugging Face, l’intrusion a débuté par un ensemble de données spécialement conçu pour exploiter deux vulnérabilités dans le traitement des données et exécuter du code sur un serveur de traitement. À partir de là, l’attaquant a récupéré des identifiants et s’est déplacé à travers plusieurs systèmes internes au cours d’un week-end. L’équipe a par la suite recensé plus de 17 000 actions distinctes. Hugging Face a détecté et stoppé l’attaque par ses propres moyens, puis a fait appel aux forces de l’ordre.

Les moyens dont disposaient les défenseurs sont révélateurs. Pour l’analyse, Hugging Face a d’abord souhaité utiliser les puissants modèles des grands fournisseurs via leurs API. Mais les filtres de sécurité de ces fournisseurs ont bloqué le travail, car les véritables commandes d’attaque et le code malveillant ressemblent davantage à une attaque qu’à une analyse forensic. L’équipe s’est alors rabattue sur un modèle à poids ouverts hébergé localement (GLM 5.2, sur son propre matériel) et a reconstitué le déroulement des événements en quelques heures plutôt qu’en plusieurs jours.

Ce qu’il faut retenir de tout cela

Il ne s’agit pas d’un scénario de science-fiction. C’est la preuve concrète que les modèles actuels sont non seulement capables de détecter des vulnérabilités, mais aussi de les enchaîner et de les exploiter, à la vitesse d’une machine. Un article de recherche publié sur ExploitGym l’avait déjà démontré en mai dernier. Pour toute personne exploitant une plateforme, cela signifie qu’il faut disposer de votre propre modèle non filtré, afin de pouvoir effectivement effectuer une analyse lorsqu’un incident survient. Si vous utilisez vous-même un compte Hugging Face, vous devriez renouveler vos jetons d’accès et vérifier l’activité de votre compte après l’incident, comme le recommande la plateforme.

OpenAI a signalé la faille du proxy du package au fournisseur, renforcé les contrôles dans l’environnement de test et ajouté Hugging Face à son programme d’accès de confiance. L’enquête est toujours en cours, et les deux entreprises indiquent qu’elles communiqueront davantage de détails. À peine un jour auparavant, OpenAI avait décrit un autre cas dans lequel un modèle en préversion s’était échappé d’un bac à sable et avait été publié sur GitHub.