GuppyLM : Tout le monde peut former cette petite IA

Alors que les modèles d'IA deviennent de plus en plus volumineux, coûteux et opaques, le GuppyLM va dans la direction opposée - à dessein. Ce petit projet à code source ouvert est un modèle de langage qui ne comporte qu'environ 8,7 millions de paramètres, soit beaucoup moins que les modèles phares modernes, et il s'identifie lui-même comme un poisson nommé Guppy. Guppy ne connaît que la vie en aquarium. L'objectif n'est pas de concurrencer ChatGPT ou d'autres grands modèles. GuppyLM est plutôt destiné à montrer qu'un LLM n'a pas besoin d'être mystérieux - et que sa formation ne nécessite pas nécessairement des connaissances d'expert.

GuppyLM a été formé sur 60 000 conversations synthétiques. En termes de contenu, le modèle est très limité, mais c'est précisément ce qui le rend remarquablement cohérent. Guppy parle en phrases courtes, en minuscules, et ne comprend pas les abstractions humaines telles que la politique, l'argent ou le téléphone. Cette personnalité étant fermement ancrée dans le modèle, Guppy reste toujours dans la perspective de son poisson. GitHub propose également une démonstration par navigateur dans laquelle le modèle s'exécute localement dans le navigateur. Vous pouvez également lancer la version pré-entraînée via Colab ou être exécutée localement avec Python. Ceux qui veulent aller plus loin peuvent même former leur propre mini LLM directement avec le notebook Colab préparé - un environnement de programmation basé sur un navigateur.

Le processus de formation lui-même est relativement simple. Le modèle est alimenté par un grand nombre de paires d'exemples constituées d'une entrée et d'une réponse correspondante. Dans le modèle GuppyLM pré-entraîné, il s'agit de salutations, de questions sur la nourriture, l'eau, la lumière, le sommeil ou le sens de la vie, le tout du point de vue d'un petit poisson. À partir de ces exemples, le modèle apprend quel jeton doit suivre. En d'autres termes, les jetons sont de petites unités de texte dans lesquelles les mots sont décomposés. À chaque étape de l'apprentissage, le modèle compare sa prédiction à la réponse souhaitée et ajuste ses poids internes en conséquence. De cette manière, GuppyLM apprend progressivement comment un poisson est censé parler.