Un nouveau système du MIT permet aux petits modèles d'IA d'être plus performants que les géants dans des tâches complexes

Si les grands modèles de langage excellent dans des domaines tels que l'écriture créative et les mathématiques de base, ils achoppent souvent lorsqu'ils sont confrontés à des tâches complexes et lourdes de règles, telles que le Sudoku ou la planification d'itinéraires stricts. Pour combler cette lacune, une équipe de chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT, dirigée par Gabriel Grand, a introduit un nouveau système appelé DisCIPL (Distributional Constraints by Inference Programming with Language Models).

Le cadre fonctionne sur la base d'une hiérarchie manager-travailleur. Un grand modèle de "patron" agit d'abord comme un planificateur, concevant une stratégie pour résoudre la demande d'un utilisateur. Il assigne ensuite des éléments spécifiques de la tâche à des modèles "suiveurs" plus petits et plus efficaces.

Pour s'assurer que l'équipe reste sur la bonne voie, le patron communique des instructions à l'aide de LLaMPPL, un langage de programmation spécialisé conçu pour orienter les modèles vers des résultats précis. Si un modèle suiveur s'écarte des contraintes - par exemple, en utilisant la mauvaise formulation dans un poème structuré - le modèle principal intervient pour le corriger.

Cette approche a donné des résultats impressionnants. Selon le rapport des chercheurs, lors de tests portant sur des tâches telles que la rédaction de propositions de subventions ou la budgétisation de listes de courses, le système DisCIPL a produit des réponses plus précises que le GPT-4o d'OpenAI et a égalé la précision du modèle de raisonnement spécialisé o1. Plus remarquable encore, il l'a fait avec beaucoup plus d'efficacité. En confiant le gros du travail à des modèles plus petits, le système a réduit la durée du raisonnement d'environ 40 % et les coûts de plus de 80 % par rapport à ses concurrents.

L'équipe estime que cette méthode offre une voie durable pour l'IA, en prouvant que la coordination de modèles plus petits peut être beaucoup plus efficace - et économe en énergie - que de s'appuyer uniquement sur des systèmes massifs et gourmands en énergie.