D-Matrix présente une carte Corsair C8 9x plus rapide que le GPU H100 de Nvidia dans les charges de travail d'IA générative

Spécifiquement conçu pour le ML et l'inférence (Image Source : d-Matrix)

L'accélérateur Corsair C8 AI exploite la puissance de la technologie DIMC (digital-in-memory computer) propriétaire de d-Matrix. Avec 2 048 DIMC assistés par 256 Go de RAM LPDDR5 et 2 Go de SRAM supplémentaires, un seul accélérateur peut atteindre des vitesses allant jusqu'à 9600 TFLOPS.

Bogdan Solca, Published 09/08/2023 🇺🇸 🇨🇳 ...

Alors que TSMC prévient que les GPU IA H100 de Nvidia continueront à manquer dans les 18 prochains mois en raison d'une capacité d'emballage insuffisante pour les puces sur wafers sur substrat (CoWoS), d'autres entreprises voient une opportunité d'intervenir et de répondre à la demande écrasante de matériel d'IA générative. L'une de ces entreprises est une nouvelle startup appelée d-Matrix, qui a récemment réussi à obtenir 110 millions de dollars auprès d'investisseurs tels que Microsoft en démontrant les vitesses inégalées de sa carte de calcul Corsair C8, dont le débit serait 9 fois supérieur à celui d'une carte Nvidia H100 Dans les charges de travail d'IA générative.

Ces vitesses impressionnantes sont obtenues grâce à la technologie DIMC (digital-in-memory computer) de d-Matrix. Contrairement à la technologie A100 et H100 de Nvidia qui sont conçus pour une plus grande variété de tâches informatiques de haute performance, les cartes Corsair C8 de d-Matrix sont spécifiquement créées pour l'IA générative et les charges de travail d'inférence. Une seule carte Corsair C8 intègre 2 048 cœurs DIMC regroupés en 8 chiplets avec un total de 130 milliards de transistors, et dispose également de 256 Go de RAM LPDDR5 afin de pouvoir facilement placer des modèles d'IA entiers en mémoire. Tous les chiplets sont interconnectés via PCIe 5.0 avec une bande passante de 1 TB/s, ce qui donne une bande passante totale de 8 TB/s de puce à puce. d-Matrix comprend également 2 GB de SRAM avec une bande passante de 150 TB/s. Selon la charge de travail de l'IA, le Corsair C8 fournit entre 2400 et 9600 TFLOPS.

Grâce à la capacité de mise à l'échelle optimisée et à la nature sans friction de la pile logicielle open source, d-Matrix affirme qu'un cluster de cartes Corsair C8 pourrait conduire à une efficacité énergétique 20 fois supérieure, à une latence 20 fois inférieure et à des coûts jusqu'à 30 fois inférieurs à ceux des solutions similaires de Nvidia.

Acheter la webcam Lumina 4K powered by AI sur Amazon