LLM-8850 : Une carte d'extension transforme Raspberry Pi 5 en plateforme d'IA locale

Les modèles d'IA basés sur le cloud sont très pratiques pour les utilisateurs habituels. Toutefois, dans certains cas d'utilisation, il peut être nécessaire d'exécuter ces modèles localement afin de garantir la confidentialité des données ou de contourner une connexion internet lente ou inexistante. Cela dit, un certain niveau de performance est nécessaire pour exécuter de grands modèles de langage ou même des analyses vidéo assistées par l'IA. Cette dernière peut être utile pour compter les personnes qui passent par l'entrée d'un bâtiment, par exemple.

Avec le M5Stack LLM-8850une autre carte d'extension qui accélère ces applications d'intelligence artificielle vient d'arriver sur le marché. Elle est équipée d'un SoC Axera AX8550 avec quatre cœurs Cortex-A55 et un NPU d'une performance de 24 TOPs. À titre de comparaison, les NPU intégrés dans les CPU AMD et Intel modernes offrent environ deux fois plus de performances. Un VPU est également intégré et peut décoder simultanément jusqu'à 16 flux vidéo en résolution Full HD. La carte intègre également 8 Go de RAM et est livrée avec un dissipateur thermique et un ventilateur.

La carte est connectée via un slot M.2 Key M et utilise deux voies PCIe 2.0. La carte mesure 1,68 x 0,94 x 0,38 pouces et est compatible avec le Raspberry Pi 5 et d'autres ordinateurs monocartes ou même des mini PC ainsi que divers frameworks d'IA. Enfin, le M5Stack LLM-8850 est officiellement proposé au prix de 99 dollars, mais des frais d'expédition et d'importation supplémentaires peuvent s'appliquer.