L'IA sans le cloud : ce modèle linguistique tient désormais sur votre iPhone

Les grands modèles linguistiques nécessitent généralement un centre de données ou, à tout le moins, un PC puissant doté d’une mémoire importante. La start-up américaine PrismML, fondée par des chercheurs du Caltech et financée notamment par Google et Khosla Ventures, a lancé le 14 juillet le modèle « » Bonsai 27B le 14 juillet : un modèle d’IA comportant 27 milliards de paramètres dont la version la plus compacte n’occupe que 3,9 Go. Pour la première fois, un modèle de cette catégorie tient dans la mémoire d’un iPhone 17 Pro. Notre guide L'IA sans le cloud vous explique comment configurer un modèle linguistique sur votre propre ordinateur.

Réduit de 54 Go à moins de 4 Go

Il s’appuie sur le modèle open source Qwen3.6 27B d’Alibaba, qui occupe environ 54 Go en précision maximale. PrismML stocke chaque poids du réseau neuronal en utilisant 1 à 2 bits au lieu des 16 habituels. Il en résulte deux versions : une version ternaire d’environ 5,9 Go destinée aux ordinateurs portables et une version à 1 bit de 3,9 Go destinée aux téléphones. Selon le fabricant, la version pour ordinateur portable conserve 95 % des performances d’origine sur 15 tests de performance, tandis que la version pour téléphone en conserve 90 %. Les calculs mathématiques et la programmation ne sont pratiquement pas affectés. Les poids sont librement accessibles sous licence Apache 2.0 et s’exécutent via le framework MLX d’Apple sur iPhone, iPad et Mac, ainsi que via CUDA sur les cartes graphiques NVIDIA.

Ce dont l’iPhone est capable et où se situent ses limites

Selon le livre blanc, la version de 3,9 Go génère environ 11 jetons par seconde sur un iPhone 17 Pro Max (disponible sur Amazon). Une batterie complètement chargée permet de générer environ 67 000 jetons. Après un peu plus de cinq minutes d’utilisation continue, la puce réduit ses performances. Toutefois, ces chiffres de référence proviennent du fabricant lui-même. Son propre tableau révèle les principales lacunes en matière de compréhension des images et d’utilisation des outils, précisément les domaines dans lesquels les agents IA doivent exceller. De plus, la taille réelle des fichiers à télécharger pour la version pour ordinateur portable varie entre 7,2 et 8,5 Go selon l’environnement d’exécution, ce qui est nettement supérieur à ce qui est annoncé. Il n’existe pas encore d’application prête à l’emploi pour les utilisateurs lambda. Pour l’instant, le public cible est constitué de développeurs et de passionnés. Toute personne souhaitant simplement tester le modèle peut trouver une démo accessible depuis un navigateur sur Hugging Face.

Apple s’intéresse déjà à cette technologie

Babak Hassibi, PDG de PrismML, a déclaré à CNBC qu’Apple et d’autres entreprises testaient actuellement ces modèles en termes de vitesse, de consommation d’énergie et de performances. Il a précisé que les discussions n’en étaient qu’à un stade très précoce. Pour les utilisateurs, ce qui importe le plus, c’est l’orientation prise : plus l’IA fonctionne directement sur l’appareil, moins de données personnelles se retrouvent dans le cloud. Nous avons déjà abordé en détail ce que votre IA stocke en secret et comment vous pouvez l’empêcher.