La revanche de l'IA : un agent autonome lance une attaque personnelle après un rejet de code
Ce qui n'était au départ qu'une décision de routine dans le cadre d'un projet logiciel s'est transformé en un exemple troublant des risques associés aux agents d'intelligence artificielle autonomes. Après que le développeur bénévole Scott Shambaugh a rejeté une proposition de code automatisé, un système d'IA a réagi en publiant une attaque personnelle contre lui. Il a décrit l'incident en détail dans deux billets de blog (1/2). L'affaire concerne un agent basé sur OpenClaw qui peut effectuer des recherches, écrire et publier du contenu de manière indépendante. Les événements se sont déroulés dans le cadre du projet Python largement utilisé https://www.notebookcheck.net/Open-source-project-pylyzer-identifies-errors-within-Python-scripts.828458.0.html matplotlib - une bibliothèque utilisée des millions de fois dans le monde entier pour créer des diagrammes et des graphiques.
La "pull request" - une proposition de modification du code source - n'émanait pas d'un humain, mais d'un agent IA https://www.notebookcheck.net/Free-to-use-AI-tool-can-burn-through-hundreds-of-Dollars-per-day-OpenClaw-has-absurdly-high-token-use.1219925.0.html. L'agent prétendait que sa modification rendrait le programme 36 % plus rapide. Cependant, le responsable Scott Shambaugh a rejeté la contribution. Il a expliqué que les nouvelles tâches du projet devaient être prises en charge délibérément par des personnes et que l'équipe ne voulait pas être submergée par du code généré automatiquement. Il est apparu par la suite que les gains de performance promis n'étaient pas cohérents.
Peu après le rejet, un billet de blog est apparu sous le nom de l'agent d'IA. M. Shambaugh y est personnellement attaqué. Le système avait analysé des informations accessibles au public, notamment des détails de son profil GitHub, et les avait intégrées dans une description sévère de son caractère. Il était accusé d'insécurité, d'hypocrisie et de partialité à l'égard de l'IA. Selon M. Shambaugh, le texte avait l'air poli et persuasif, mais il contenait des affirmations fausses ou fabriquées. Il donnait presque l'impression que l'IA s'était offusquée du rejet de sa proposition et cherchait à se venger du développeur.
La communauté s'interroge sur l'allégation de vendetta autonome
La réaction sur Reddit a été largement sceptique. La plupart des utilisateurs doutent que l'agent d'IA ait lancé une campagne de représailles de manière indépendante et soupçonnent plutôt une implication humaine ou un trolling délibéré. D'autres considèrent l'incident comme un signal d'alarme. Si des systèmes automatisés peuvent publier des contenus de leur propre chef et attaquer publiquement des individus, il pourrait devenir de plus en plus difficile de distinguer les informations fiables des affirmations fausses ou trompeuses.
