La puce d’IA Microsoft Maia 300 débarque avec une monstrueuse mémoire HBM4 de 288 Go et une bande passante de 18 To/s

Microsoft a officiellement dévoilé le Maia 300, son dernier accélérateur d'IA conçu sur mesure pour réduire la dépendance de l'entreprise au matériel de Nvidia et d'AMD. Il arrive peu après qu'OpenAI a présenté sa puce conçue en interne, Jalapeno.  Cette puce succède au Maia 200, lancé plus tôt cette année. La première puce Maia, le Maia 100, est apparue en 2023. 

Le Maia 300 utilise une conception à plusieurs chiplets comprenant une section de calcul principale fabriquée selon le procédé avancé N2P (2 nm) de TSMC. Le boîtier intègre également des chiplets distincts pour la mémoire et les entrées/sorties, ce qui permet à Microsoft de fabriquer différents composants à l'aide de procédés adaptés à leurs exigences respectives. Selon Reuters, certaines des puces auxiliaires utilisent un procédé de fabrication en 3 nm moins coûteux.

L'accélérateur offre des performances de calcul allant jusqu'à 13,8 PFLOPS en FP4 et 6,9 PFLOPS en précision FP8. La puissance nominale de son SoC s'élève à 950 W, soit nettement plus que les 750 W du Maia 200. Microsoft a équipé le Maia 300 de huit piles de mémoire HBM4, offrant au total 288 Go de mémoire et une bande passante de 18 To/s. Chaque pile apporte une capacité de 36 Go, la mémoire HBM4 fonctionnant à 9 Gb/s par broche. À titre de comparaison, le Maia 200 dispose de 216 Go de mémoire HBM3E avec une bande passante de 7 To/s, ce qui rend le nouvel accélérateur utile pour les charges de travail d'inférence gourmandes en mémoire.

Microsoft a également amélioré les capacités d’interconnexion de l’accélérateur. Le Maia 300 offre une bande passante bidirectionnelle de 3,2 To/s pour la montée en puissance et utilise un réseau Ethernet à deux niveaux doté d’un protocole de transport personnalisé pour l’IA. Un seul rack accueille 96 accélérateurs Maia 300, tandis que l’architecture de montée en puissance prend en charge des clusters contenant environ 12 000 accélérateurs.

Au-delà de ses caractéristiques techniques brutes, Microsoft affirme que le Maia 300 peut produire 40 % de tokens de plus par mégawatt que les principaux systèmes d’IA basés sur des GPU. Une configuration entièrement équipée de 96 accélérateurs offrirait un débit de tokens à l’échelle du rack jusqu’à sept fois supérieur à celui du Maia 200. Toutefois, l’entreprise n’a pas fourni suffisamment de détails sur les configurations GPU concurrentes pour permettre d’établir de manière indépendante l’ampleur de son avantage en matière d’efficacité.

Microsoft prévoit de commencer à déployer le Maia 300 dans des environnements de production en 2027, avec l’objectif de porter à terme la capacité de l’infrastructure à plusieurs gigawatts. Reuters rapporte que l’entreprise pourrait déployer plus d’un million de puces Maia 300 l’année prochaine, ce qui souligne son ambition de réduire sa dépendance aux accélérateurs d’IA de fournisseurs tiers.