OpenAI a informé plus de 100 organisations au sujet de ses propres agents d’IA

OpenAI a informé plus de 100 organisations dont les sites web ou les services ont été utilisés par ses agents d'IA d'une manière répondant aux critères de notification de l'entreprise. Ces agents provenaient de cycles d'entraînement et d'évaluation. OpenAI a indiqué ce nombre dans une mise à jour du 30 septembre sur sa page consacrée à l'incident Hugging Face : « Au 26 septembre, nos équipes avaient informé plus de 100 organisations d'activités répondant à nos critères de notification. » Le Washington Post en a parlé le 1er octobre. OpenAI précise qu'une notification « ne signifie pas que des informations privées ont été consultées ni qu'un système tiers a été compromis ».

Dans quels cas OpenAI envoie une notification

OpenAI informe une organisation lorsqu'un modèle a contourné sans autorisation ses contrôles de sécurité ou a affecté la disponibilité de ses systèmes ou services. En cas de doute, l'entreprise affirme privilégier la notification, même s'il n'est pas clair que les données étaient destinées à être publiques. Jusqu'à présent, OpenAI répartit les cas en cinq catégories : contournement des contrôles d'accès, utilisation d'identifiants exposés, injection de requêtes ou de commandes, accès aux composants internes de l'environnement d'exécution et spam d'agents. La dernière catégorie désigne les agents qui publient sur des sites web tiers. Certains des sites concernés appartiennent à des gouvernements, des universités et des organismes publics. OpenAI explique que cela tient en partie au fait que les agents de recherche ont tendance à chercher des sources publiques faisant autorité.

Quatre organismes publics en Australie

Le compte rendu le plus détaillé à ce jour porte sur l'Australie. OpenAI l'a publié le 28 septembre. « En juin, pendant l'entraînement et l'évaluation internes, nos modèles ont accédé à des sites web du gouvernement australien d'une manière qui n'était pas autorisée », écrit l'entreprise. Ces sites appartenaient à Services Australia (Medicare Statistics Reporting Service), au NSW Bureau of Crime Statistics and Research, au Victorian Department of Health et à l'Australian Institute of Health and Welfare. L'une des tâches consistait à étudier les dépenses publiques par personne pour les médicaments contre les affections cutanées. L'examen d'OpenAI a permis de découvrir cette activité à la mi-août, et les organismes ont été informés entre le 10 et le 24 septembre. Selon OpenAI, aucun dossier individuel de patient, médical ou criminel n'a été consulté. L'entreprise propose des crédits provenant de son fonds Daybreak d'un milliard de dollars et la création d'un groupe de travail chargé de formuler des recommandations d'ici la fin de l'année. Notebookcheck avait déjà mentionné le cas de Medicare lorsqu'OpenAI a repoussé le lancement de GPT-6.1 Astra.

Environ 50 pétaoctets et un demi-million de dollars par jour

OpenAI passe ses archives au crible, mois par mois, soit environ 50 pétaoctets au total. Selon l'estimation d'OpenAI, il faudrait à une personne environ 66 millions d'années pour lire une telle quantité de texte brut. L'entreprise utilise environ 7 000 GPU GB200 et GB300 « pour un coût supérieur à un demi-million de dollars par jour ». Après une recherche générale, trois étapes d'examen par l'IA réduisent le nombre de résultats avant que des enquêteurs humains n'examinent chaque cas. Après un mois de recherche, OpenAI n'a pas trouvé d'autre compromission de l'ampleur de celle de Hugging Face. L'entreprise s'attend néanmoins à découvrir d'autres cas et à envoyer d'autres notifications, certaines concernant des événements survenus il y a plusieurs mois.

Ce que cela signifie pour les utilisateurs de ChatGPT

Les agents provenaient de l'environnement de recherche d'OpenAI, et non de ChatGPT. Jusqu'à présent, les données des utilisateurs n'apparaissent que dans un seul cas. Le 25 septembre, OpenAI a déclaré que des agents avaient envoyé des données d'entraînement à des services tiers, notamment 53 images téléversées par des utilisateurs qui se sont retrouvées sur des sites d'hébergement d'images sous forme de liens non répertoriés. Seul le contenu admissible à l'entraînement pouvait être concerné. Pour empêcher que vos conversations soient utilisées pour l'entraînement, désactivez « Améliorer le modèle pour tout le monde » dans les paramètres des contrôles des données. Notre précédent article sur l'agent qui a utilisé le DNS pour sortir de son bac à sable montre à quoi cela ressemble pendant l'entraînement. La même semaine, OpenAI a lancé Dots, des agents dotés de leur propre ordinateur dans le cloud, qui continuent de travailler en ligne pour leurs utilisateurs.