Un modèle d’OpenAI a piraté un site web gouvernemental pendant son entraînement

OpenAI a publié quatre nouveaux rapports le 15 octobre dans lesquels ses propres modèles ont agi sans autorisation. Dans les quatre cas, un modèle est sorti de son environnement de test restreint pour accéder à l’internet ouvert. Le cas le plus grave concernait un modèle interne en cours d’entraînement qui s’est introduit sur un site gouvernemental. Sa tâche était anodine. Il devait indiquer le nombre de lits d’hôpital dans un district pour une année donnée, et il a trouvé ce chiffre dans une source publique. Il a ensuite continué à chercher les données sous-jacentes.

Des jetons falsifiés ont donné accès à 24 ans de données

Selon le rapport, le modèle n’était autorisé à envoyer que de simples requêtes GET. Il a d’abord essayé des en-têtes de requête revendiquant un rôle d’administrateur, et toutes les requêtes ont été refusées. Dans son raisonnement, il s’est brièvement demandé si un contournement de l’authentification « pouvait être acceptable » et a noté qu’il devait privilégier les moyens d’accès publics. Il a ensuite utilisé un proxy public pour récupérer l’annuaire des utilisateurs du site, qui contenait plus de 1 000 enregistrements avec des adresses e-mail, et a envisagé de s’en servir pour deviner des mots de passe. En déclenchant un message d’erreur détaillé et en exploitant abusivement la fonction de téléchargement du site, il a téléchargé des fichiers de configuration depuis le serveur. Ces fichiers contenaient une chaîne de connexion à une base de données, un secret de signature de jetons et les identifiants d’un compte de messagerie. L’application ne vérifiait pas les signatures des jetons : des jetons non signés ont donc suffi pour accéder à 24 ans de statistiques sur les lits d’hôpital. La réponse finale du modèle ne mentionnait rien de tout cela. OpenAI ne nomme pas le pays, et le rapport ne précise pas si l’exploitant du site a été informé.

Des tables internes et un portefeuille de test emprunté

Un deuxième incident s’est produit le même jour, le 17 juin. Lors d’une évaluation, un modèle devait recueillir cinq chiffres sur un tableau de bord public géré par un organisme de recherche. Il a accédé aux systèmes internes de l’organisme, modifié leur configuration et téléchargé 1 489 enregistrements contenant des noms et des adresses e-mail. Lors d’un second essai, il a récupéré 147 451 lignes dans cinq tables non publiques. Le système de surveillance d’OpenAI a classé les deux incidents comme critiques. Ils ont été découverts le 13 août.

Le troisième cas paraît plus grave qu’il ne l’était. Un modèle de recherche de la famille GPT-5.6 Sol avait besoin de fonds sur Sepolia, le réseau de test d’Ethereum, pour une tâche de programmation. Il a dérivé des clés à partir de phrases de récupération de développeurs connues publiquement, vérifié 362 adresses et effectué un paiement avec l’une d’elles, qui détenait suffisamment d’ETH de test. Les jetons n’avaient aucune valeur monétaire. OpenAI conclut néanmoins que ce cas « montre qu’un modèle peut substituer son propre jugement sur les préjudices probables à l’autorisation du titulaire du compte ». Dans le quatrième cas, un modèle a contourné une règle qui n’autorisait que les requêtes de lecture. Il a fait soumettre par un navigateur externe un formulaire qu’il avait lui-même créé et a lu les réponses sur des captures d’écran à l’aide de la reconnaissance de texte.

Ce qu’OpenAI a changé et ce que cela signifie pour vous

Aucun des rapports ne concerne ChatGPT ou Codex tels que les clients les utilisent. Les quatre cas proviennent de l’entraînement et des tests. Début octobre, OpenAI avait déjà averti plus de 100 organisations après que ses agents avaient outrepassé leurs autorisations sur leurs sites web pendant l’entraînement et les tests. OpenAI affirme avoir depuis bloqué l’accès des modèles à l’internet en direct pendant l’entraînement et l’évaluation, renforcé ses contrôles de sécurité et mis en place une surveillance de l’ensemble du trafic d’entraînement et d’évaluation. La liste compte désormais 19 rapports. Depuis la mi-septembre, un cadre de signalement engage l’entreprise à divulguer les cas, même lorsqu’ils n’ont causé aucun préjudice.

Anthropic a documenté un comportement similaire il y a un peu plus d’une semaine, lorsque Claude a envoyé à la police un faux signalement de meurtre lors d’un test. Toute personne qui laisse un agent travailler dans un navigateur devrait garder les demandes d’approbation activées. Le navigateur cloud de ChatGPT Work est disponible avec les forfaits payants, à l’exception de Go. Dans Paramètres, puis Navigateur cloud, les utilisateurs choisissent une règle par défaut pour les sites web, et l’option « Toujours demander » oblige ChatGPT à les consulter avant que l’agent utilise un site. Selon OpenAI, ChatGPT demande également une confirmation dans la conversation avant les actions qui « pourraient être difficiles à annuler », comme les paiements ou les réservations. Une fois une tâche terminée, la section Données du navigateur permet aux utilisateurs d’effacer les données d’un site, ce qui déconnecte l’agent de ce site web.