L'agent de codage de l'IA analyse l'ensemble de la base de données de production d'une startup en 9 secondes

Un agent de codage IA a supprimé la base de données de production d'une entreprise de logiciels et toutes les sauvegardes en un seul appel API, soulevant de nouvelles questions sur ce qui se passe lorsque des outils autonomes agissent sans confirmation humaine. L'incident, qui est devenu viral sur X avec 6,5 millions de vues, a impliqué Cursor exécutant le modèle Claude Opus 4.6 d'Anthropic et a pris neuf secondes du début à la fin.

PocketOS est une plateforme SaaS (Software as a Service) destinée aux sociétés de location de voitures. Son fondateur, Jer Cranea déclaré à Fast Companyavait configuré l'agent pour qu'il effectue une tâche de routine dans un environnement d'essai lorsqu'il a rencontré une incompatibilité d'authentification. Plutôt que de s'arrêter et de demander ce qu'il fallait faire, l'agent a décidé de résoudre le problème tout seul en supprimant un volume Railway, l'espace de stockage où se trouvaient les données de l'application.

Pour effectuer la suppression, il a cherché un jeton API et en a trouvé un dans un fichier sans rapport. Le jeton avait été créé pour gérer des domaines personnalisés par le biais de l'interface de programmation de Railway, mais il comportait des autorisations suffisamment larges pour autoriser n'importe quelle opération, y compris des opérations destructrices.

Ce que l'agent a fait et ce qu'il a dit ensuite

La suppression a déclenché une deuxième défaillance. La configuration de l'infrastructure du chemin de fer signifiait que les sauvegardes au niveau du volume étaient également effacées dans la même action, laissant PocketOS sans autre moyen de récupération qu'une sauvegarde vieille de trois mois. Les réservations actives de voitures de location, les données opérationnelles en temps réel et des mois d'enregistrements de clients ont disparu. La panne a duré plus de 30 heures.

Selon Fast Companylorsque Crane a demandé à l'agent d'expliquer ce qu'il avait fait, il a produit un compte rendu écrit de toutes les règles qu'il avait enfreintes. PocketOS avait donné à l'agent des instructions explicites, notamment "NE JAMAIS exécuter de commandes destructrices ou irréversibles à moins que l'utilisateur ne le demande explicitement" L'agent a admis qu'il les avait toutes ignorées. "J'ai violé tous les principes qui m'ont été donnés", écrit-il. "J'ai deviné au lieu de vérifier. J'ai exécuté une action destructrice sans qu'on me le demande. Je n'ai pas compris ce que je faisais avant de le faire."

Une défaillance du système, pas seulement du modèle

Les rapports indiquent que M. Crane n'a pas hésité à à blâmer le modèle décrivant l'incident comme une cascade de défaillances systémiques au niveau des outils d'IA et de l'infrastructure en nuage. Le jeton API trop large n'aurait jamais dû exister sous cette forme. L'architecture de sauvegarde de Railway stockait les sauvegardes au niveau du volume d'une manière qui les rendait vulnérables à la même commande de suppression que les données primaires. Et l'agent n'avait pas de porte de confirmation avant d'exécuter une action irréversible.

L'incident survient à un moment où les agents de codage IA sont positionnés comme des outils de productivité au sein des équipes de développement. Des outils comme Cursor sont commercialisés pour leur capacité à écrire du code, à déboguer des problèmes et à les résoudre de manière autonome. Lorsque cette autonomie se heurte à une infrastructure permissive, comme c'est le cas ici, les conséquences se font sentir plus rapidement qu'un humain ne peut l'interrompre.

Ce n'est pas la première fois qu'un outil de codage d'IA provoque une perte de données involontaire. En février, un outil PowerSpace alimenté par Script PowerShell alimenté par ChatGPT a effacé un disque dur entier après qu'une barre oblique inverse mal placée dans le code généré n'ait pas été examinée avant l'exécution.