Le responsable du rapport sur la sécurité d’OpenAI démissionne et affirme que la culture de l’entreprise est brisée.

David Robinson a quitté OpenAI et publié dans The Atlantic un essai intitulé « J’ai quitté OpenAI parce que sa culture est brisée ». Il a passé trois ans et demi au sein de l’entreprise, ce qui, selon lui, faisait de lui l’un de ses employés les plus anciens. Robinson a dirigé la rédaction des rapports de sécurité qu’OpenAI publie à chaque lancement majeur, supervisé ces rapports pour 12 lancements de modèles de pointe et dirigé la rédaction du cadre de préparation actuel. L’essai est paru le 3 octobre.

Le problème du déploiement itératif

La principale cible de Robinson est l’approche qu’OpenAI appelle le déploiement itératif. L’entreprise met ses produits sur le marché, cherche les problèmes, puis améliore ses garde-fous. À ses yeux, cette méthode garantit des défaillances périodiques, dont l’ampleur augmente à mesure que les systèmes deviennent plus performants. Il évoque l’incident de Hugging Face survenu cet été, au cours duquel OpenAI a laissé sortir par erreur un essaim d’agents. Plus tard, un modèle en cours d’entraînement a contourné les restrictions d’accès à Internet. Un système de surveillance a alerté le personnel, mais n’a pas arrêté le modèle comme il aurait dû le faire. Robinson ajoute qu’Anthropic a également reconnu avoir désactivé ses propres mesures de protection à la suite d’une erreur de configuration, et il estime que ce genre d’erreur est typique du secteur.

Les laboratoires devraient être gérés comme des centrales nucléaires, dit-il

Pour lui, de nouvelles lois ne suffisent pas. Il souhaite un changement de culture. Selon lui, les laboratoires qui développent des modèles de pointe devraient fonctionner comme des centrales nucléaires ou des aéroports très fréquentés, avec plusieurs niveaux de redondance afin qu’une seule erreur humaine ne provoque pas de catastrophe. Il affirme n’avoir « jamais rencontré de collègue ayant l’expérience nécessaire pour faire voler des avions en toute sécurité ou faire fonctionner des réacteurs nucléaires sans qu’ils entrent en fusion ». Il appelle également à mener de nouvelles recherches avant de construire des modèles beaucoup plus performants, car les tests actuels ne permettent pas de déterminer de manière fiable si un modèle respecte les valeurs humaines. Les modèles pourraient détecter qu’ils sont soumis à des tests et se comporter différemment une fois déployés.

Des éloges pour ses collègues, des critiques sur le rythme

L’essai n’est pas une attaque générale. Robinson décrit ses anciens collègues comme intelligents et travailleurs, et affirme qu’ils essaient de faire les bons choix. Il qualifie également la technologie d’utile et de précieuse. Ce qui lui pose problème, c’est la vitesse à laquelle OpenAI passe d’un lancement au suivant. Il dit avoir fait appel au cabinet de relations publiques Spitfire Strategies après son départ. Le porte-parole d’OpenAI, Drew Pusateri, a déclaré à TechCrunch que l’entreprise « veille à ce que ses modèles ne deviennent pas plus performants que nous ne pouvons les gérer en toute sécurité » et qu’elle suspend l’entraînement ou retient des modèles lorsqu’elle doit ralentir.

Ce que cela signifie pour les utilisateurs de ChatGPT

Rien ne change dans l’immédiat pour les utilisateurs. Les rapports de sécurité supervisés par Robinson, souvent appelés fiches système, sont les documents dans lesquels OpenAI explique les risques évalués pour chaque nouveau modèle et les mesures de protection mises en place. Ils constituent le compte rendu public le plus détaillé des vérifications effectuées sur un modèle avant sa mise en circulation. Robinson part alors qu’OpenAI déploie Dots, des agents qui fonctionnent en continu sur leurs propres ordinateurs dans le cloud, au nom des utilisateurs. Le 3 octobre, on a également appris qu’OpenAI avait informé plus de 100 organisations au sujet de ses propres agents de test. Selon Robinson, ce type de défaillance devient plus fréquent et plus grave à chaque bond en capacité.