La Chine dévoile SpikingBrain 1.0, un LLM inspiré du cerveau fonctionnant sur des puces nationales MetaX

L'Institut d'automatisation de l'Académie chinoise des sciences à Pékin a récemment dévoilé https://www.scmp.com/news/china/science/article/3324851/brain-ai-said-run-100-times-faster-ultra-long-tasks-using-chinese-chips son tout nouveau modèle de langage à grande échelle SpikingBrain 1.0. Ce LLM est présenté comme le premier LLM au monde "semblable à un cerveau", conçu pour consommer beaucoup moins d'énergie que les systèmes d'IA conventionnels, tels que ChatGPT. Plutôt que de s'appuyer sur du matériel Nvidia, il fonctionne entièrement sur des puces MetaX fabriquées en Chine, ce qui constitue une avancée significative dans le domaine de l'informatique neuromorphique.

Le système utilise la technologie "spiking computation", qui imite les schémas de tir des neurones du cerveau humain. Cette technologie permet d'activer uniquement les neurones nécessaires, plutôt que l'ensemble du réseau, comme dans les modèles traditionnels. Cette approche événementielle permet également au système d'être économe en énergie, réduisant ainsi la consommation d'énergie. Le système peut également apprendre à partir d'un minuscule deux pour cent des données de formation requises par rapport aux systèmes conventionnels. Deux versions ont été développées : l'une avec 7 milliards et l'autre avec 76 milliards de paramètres.

Les chercheurs signalent des performances jusqu'à 100 fois plus rapides que les modèles traditionnels dans certaines tâches, le plus petit modèle répondant à une demande de 4 millions de jetons au moins 100 fois plus vite que les systèmes standard. En outre, la vitesse a été multipliée par 26,5 par rapport aux architectures Transformer conventionnelles pour la première génération de jetons. Le nouveau modèle a été entraîné sur environ 150 milliards de jetons, ce qui ne représente qu'une fraction des exigences typiques des systèmes conventionnels. Malgré ces données d'entraînement réduites, le système reste comparable à d'autres solutions populaires à code source ouvert.

Le nouveau système revêt une importance stratégique pour la Chine, étant donné que le LLM fonctionne entièrement au sein de l'écosystème d'IA chinois, en utilisant la plateforme de puce MetaX. Cet aspect devient particulièrement important à l'heure où les États-Unis renforcent les contrôles à l'exportation sur les puces d'IA avancées. La recherche démontre également qu'il est possible d'entraîner un grand modèle efficace sur des plateformes autres que Nvidia. Le chercheur principal Li Guoqi met également en évidence l'optimisation de l'architecture des puces chinoises. Les applications potentielles de ces systèmes comprennent les documents juridiques, les dossiers médicaux et même les simulations scientifiques.

L'équipe a mis en libre accès la petite version du modèle, la grande version n'étant disponible qu'en ligne pour des tests publics via un site de démonstration. La recherche est également publiée en tant qu'article non révisé par des pairs sur le dépôt arXiv, il est donc préférable de prendre toutes ces affirmations avec un grain de sel. Néanmoins, cette percée pourrait ouvrir la voie à des systèmes d'IA plus économes en énergie et faire progresser les approches informatiques inspirées par le cerveau.