Moonshot AI lance Kimi K2 : un rival gratuit et plus intelligent de DeepSeek

Moonshot AI a publié gratuitement Kimi K2, un modèle linguistique d'intelligence artificielle, sous une licence MIT modifiée https://github.com/MoonshotAI/Kimi-K2/blob/main/LICENSE. Le LLM s'est immédiatement classé parmi les dix modèles d'intelligence artificielle les plus puissants au monde sur le site LMSys text arena leaderboard. Kimi K2 a obtenu un meilleur score que DeepSeek, une autre IA gratuite qui a attiré l'attention du monde entier pour sa puissance et sa licence gratuite lorsqu'elle a été publiée à la fin de l'année 2024 licence gratuite lors de sa sortie à la fin de l'année 2024.

Kimi K2 est un modèle de mélange d'experts (MoE) d'un billion de paramètres (1T) avec une fenêtre contextuelle de 128 000 et 384 experts utilisant un sous-ensemble de paramètres activés de 32 milliards. L'IA a été développée pour être utilisée dans des agents d'IA spécialisés dans la résolution autonome de problèmes, le raisonnement et l'utilisation d'outils, ce qui permet de l'utiliser pour résoudre des tâches complexes et rechercher des réponses à des problèmes commerciaux de haut niveau.

En raison du manque de données d'entraînement à l'utilisation d'outils dans le monde réel, Kimi K2 a été entraîné en combinant des environnements réels et des environnements simulés. En outre, la formation de l'IA a utilisé un mécanisme d'auto-jugement, lui permettant de déterminer elle-même si les tâches qu'elle a accomplies ont été réalisées de manière adéquate ou non pendant la formation. L'optimiseur MuonClip a été développé pour résoudre le problème de stabilité de l'entraînement constaté dans l'optimiseur Muon pour réseaux neuronaux https://kellerjordan.github.io/posts/muon/l'optimiseur MuonClip a été développé pour résoudre le problème de stabilité de l'apprentissage constaté dans l'optimiseur Muon pour réseaux neuronaux, ce qui a permis de pré-entraîner Kimi K2 rapidement et avec succès sur des jetons de 15,5 tonnes.

Les lecteurs intéressés par le développement de Kimi K2 pour un usage professionnel auront besoin d'au moins 1 To de stockage pour le modèle et d'un cluster d'au moins 16 GPU Nvidia H20/H200 avant en le téléchargeant gratuitement sur Hugging Face. Les particuliers peuvent facilement exécuter des versions distillées de DeepSeek sur des GPU Nvidia dotés de 12 Go de mémoire ou plus, comme cette carte sur Amazon, en attendant les versions distillées de Kimi K2.

Les consommateurs peuvent discuter gratuitement avec le chatbot Kimi iciet les développeurs de logiciels peuvent payer pour utiliser Kimi via son API ici.