Anthropic a surpris des scientifiques en train de demander de l'aide à Claude pour des recherches sur les armes biologiques

Anthropic, la société à l'origine de l'IA Claude, a récemment signalé et bloqué plusieurs scientifiques qui tentaient d'utiliser ses modèles d'IA pour le développement potentiel d'armes biologiques. Un nouveau rapport sur les menaces publié par l’entreprise détaille les nombreuses utilisations abusives de sa plateforme Claude AI. L’enquête met en évidence cinq études de cas spécifiques impliquant des scientifiques en activité qui étudient des agents pathogènes extrêmement dangereux. La détection de ce type d’utilisation abusive reste très complexe, car la recherche biomédicale légitime ressemble souvent fortement au développement d’une arme biologique.

Dans un cas notable survenu en mai, le classificateur interne de sécurité biologique d’Anthropic a intercepté une demande visant à rédiger un dossier de subvention pour une recherche de « gain de fonction » sur le virus du chikungunya. Cet agent pathogène transmis par les moustiques provoque des symptômes invalidants et ne dispose actuellement d’aucun traitement homologué. La recherche proposée visait à accroître la transmissibilité du virus et sa capacité à échapper aux réponses immunitaires.

Le fait que cette recherche soit liée à un institut militaire a immédiatement exacerbé les inquiétudes de l’entreprise. Anthropic a également mis fin à une autre tentative concernant une recherche de gain de fonction sur la grippe aviaire, qui visait à adapter l’agent pathogène afin qu’il se propage plus facilement entre les mammifères. Une autre requête interceptée concernait un chercheur utilisant Claude pour cartographier des peptides toxiques issus de venins et optimiser leurs caractéristiques.

Anthropic a réagi en bannissant définitivement les comptes associés à ces activités. L’entreprise s’est appuyée sur ces conclusions pour renforcer ses mesures de sécurité contre de futures utilisations abusives. Le rapport souligne que les modèles les plus récents font preuve d’une maîtrise croissante dans la gestion de tâches scientifiques sophistiquées.

Cette capacité en fait des cibles très attractives pour les acteurs à la recherche d’un véritable assistant de recherche en génie biologique complexe. Anthropic a choisi de préserver l’anonymat des scientifiques impliqués ainsi que celui de leurs institutions. L’entreprise a déclaré que l’identification de ces professionnels pourrait les exposer à des risques physiques, soulignant que les chercheurs n’avaient peut-être pas explicitement l’intention de causer du tort.