Le SEAL montre comment l'IA peut penser et évoluer en permanence

L'intelligence artificielle devient de plus en plus polyvalente : elle génère des images, écrit des poèmes et crée des applications. Pourtant, une limite essentielle demeure : les systèmes actuels peinent à évoluer au-delà de leur programmation initiale. C'est précisément là qu'intervient un nouveau concept du Massachusetts Institute of Technology (MIT). Baptisé SEAL (Self-Adapting Language Models), ce cadre permet aux grands modèles de langage de se comporter davantage comme des êtres apprenants. SEAL leur permet de traiter de nouvelles informations, de générer leurs propres idées et de mettre à jour leurs connaissances en temps réel, sans dépendre d'ensembles de données externes ou de l'intervention d'un développeur. L'article de recherche a été publié le 12 juin sur arXiv.

Apprentissage continu sans intervention du développeur

"Dans les entreprises en particulier, il ne suffit pas de récupérer des données : les systèmes doivent être capables de s'adapter en permanence", explique Jyothish Pari, doctorant au MIT. SEAL est conçu pour faire exactement cela, en utilisant un processus continu en deux étapes. Tout d'abord, l'IA résume les nouvelles informations, génère des exemples pertinents et ajuste ses paramètres internes. Ces modifications sont appelées "auto-édition"

Le système met ensuite immédiatement ses auto-évaluations à l'épreuve : il subit un bref réentraînement avec les nouveaux ajustements et est évalué pour voir si ses réponses s'améliorent réellement. SEAL ne retient les modifications que si les résultats montrent un gain de performance évident. Les tests comparatifs confirment l'efficacité de cette méthode : dans un jeu de questions-réponses sans texte, la précision du modèle Qwen 2.5-7B passe de 33,5 % à 47 %. Dans les puzzles ARC plus difficiles - des tâches logiques tirées du Corpus Abstraction & Reasoning - la performance grimpe même à 72,5 %, soit plus du triple du score initial du modèle.

Grâce à ce cycle, SEAL se comporte presque comme une entité pensante : chaque fois que de nouveaux faits ou de nouvelles questions apparaissent, le modèle "réfléchit" à ce qui est important, génère ses propres exemples et ajuste ses paramètres pour mieux appliquer ce qu'il a appris. Comme ce processus se déroule en continu, l'IA est toujours en train d'apprendre. Elle ne dépend plus d'une mise au point séparée par le développeur, mais utilise les textes entrants comme matériel d'entraînement, générant ainsi ses propres données à la volée.

SEAL ouvre plusieurs possibilités à la fois. À l'avenir, les chatbots pourraient s'adapter naturellement aux préférences personnelles des utilisateurs sans qu'il soit nécessaire d'envoyer des données sensibles à des serveurs externes. Les outils de développement et de recherche pourraient également évoluer de manière plus autonome, en s'adaptant aux exigences changeantes des projets sans avoir à être formés à nouveau à chaque fois. Et même si les données textuelles accessibles au public se raréfient, SEAL peut générer son propre matériel de formation à partir d'exemples créés par ses soins, ce qui constitue un moyen intelligent de contourner d'éventuelles pénuries de données.

Un fort potentiel, mais pas sans obstacles

Bien que SEAL soit très prometteur pour le développement de l'IA, les chercheurs soulignent trois défis majeurs :

• Premièrement, il y a le problème de l'oubli catastrophique : au fur et à mesure que le modèle intègre de nouvelles auto-éditions, sa capacité à effectuer des tâches antérieures diminue progressivement. L'étude montre déjà les premiers signes de cet effet.
• Deuxièmement, le coût informatique est considérable, car chaque auto-édition nécessite une brève étape de mise au point. Selon l'étude, un cycle complet prend entre 30 et 45 secondes, ce qui augmente considérablement le coût opérationnel de l'exécution de grands modèles.
• Troisièmement, la vérification de l'exactitude des auto-éditions reste un défi. Les tests de performance évaluent principalement le caractère convaincant d'une réponse, plutôt que son exactitude réelle. Les utilisateurs sur Reddit ont déjà exprimé leur inquiétude quant au fait que le système pourrait accepter des autorévisions plausibles mais incorrectes comme des améliorations - et ensuite internaliser ces erreurs de manière permanente.