L'essor de l'IA en Chine repose sur les GPU Nvidia remis à neuf, alors que les limites à l'exportation se font sentir

Confrontées à des obstacles réglementaires et à des restrictions à l'exportation, les entreprises chinoises spécialisées dans l'IA utilisent de plus en plus refurbished et d'occasion de Nvidia. Lorsque les exportations de H20 ont repris en juillet, les nouvelles règles chinoises en matière de sécurité des données ont compliqué l'acquisition de la carte Hopper limitée de Nvidia. En conséquence, les acheteurs se sont tournés vers les anciennes cartes A100 et H100, que les vendeurs reconstruisent et vendent aujourd'hui pour constituer des clusters d'inférence abordables et très performants.

L'inférence nécessite moins de calculs que l'apprentissage et n'a pas besoin d'une précision totale en virgule flottante. Une carte A100 de 2020 offre jusqu'à 80 gigaoctets de HBM2e et environ 2 TBps de bande passante. Elle fait encore bien fonctionner les chatbots et les moteurs de recommandation. La maturité du logiciel CUDA de Nvidia aide, étant donné le niveau de développement de la pile. Pour les équipes qui se concentrent sur le service des modèles, plutôt que sur leur formation, un silicium plus ancien est un investissement intelligent.

En comparaison, le H100 augmente les performances en offrant HBM3 et un débit beaucoup plus élevé. Le H20 est conforme aux règles d'exportation, mais ses performances en matière d'IA sont environ trois à sept fois inférieures à celles d'un H100 complet, et plus de trente fois inférieures en double précision. Compte tenu de ces contraintes, de nombreux acheteurs en Chine continuent d'opter pour des cartes H100 reconditionnées plutôt que pour de nouvelles unités H20.

Les systèmes d'inférence peuvent fonctionner en continu avec un risque minimal pour la précision, et les anciennes cartes compatibles avec CUDA peuvent être facilement déployées. Les cartes remises à neuf restent très demandées, malgré certains problèmes de fiabilité. Les centres de données peuvent se développer immédiatement plutôt que d'attendre des pièces approuvées.

Entre-temps, Nvidia est confrontée à une situation difficile : des changements dans les règles d'octroi de licences aux États-Unis ont conduit à une dépréciation de 5,5 milliards de dollars dépréciation de 5,5 milliards de dollars sur les stocks de H20 invendus. Parallèlement, la rareté des cartes officielles signifie que les anciens GPU de Nvidia continuent d'alimenter la croissance de l'IA en Chine par le biais de ventes non officielles et remises à neuf. Cette dynamique pourrait avoir un impact sur les bénéfices de Nvidia et retarder l'adoption de nouvelles technologies.

Sur le plan national, le gouvernement chinois encourage les accélérateurs nationaux tels que Huawei et Birenmais chaque H100 ou A100 d'occasion déployé dans les centres de données chinois réduit le marché des systèmes basés sur Ascend et ralentit l'investissement dans les piles locales.

Prises ensemble, ces règles créent une économie du recyclage. Les contrôles qui limitent l'informatique avancée et les politiques qui favorisent les puces locales permettent au matériel Nvidia plus ancien de rester utile plus longtemps.