Le pari est gagnant : Le développeur obtient un matériel d'une valeur de 80 000 $ avec une mémoire DDR5 de 960 Go et une super puce Nvidia GH200 pour un dixième du prix
Il y a moins d'une semaine, nous avons couvert une histoire provenant de Reddit où un joueur a réussi à mettre la main sur un PC de jeu puissant et bien équipé d'une valeur d'environ 3 000 $ neuf pour seulement 600 $. Il est amusant de constater que les 64 Go de mémoire DDR5 du système valent à eux seuls 880 $ à l'heure où nous écrivons ces lignes hausse sans précédent des prix de la mémoire.
un matériel d'une valeur de 80 000 dollars pour 8 000 dollars : Un développeur d'IA touche le jackpot
Aujourd'hui, un développeur d'IA, également par le biais de Reddit, a réussi à dénicher une affaire alléchante : un serveur d'IA d'occasion équipé de deux superpuces Nvidia GH200 , vendu pour la modique somme de 8 000 euros vendu pour seulement 8 000 dollars. S'il était acheté neuf, le système coûterait environ 80 000 dollars, voire plus puisque les superpuces Nvidia H100 vaut à lui seul environ 40 000 dollars, comme l'indique l'auteur à l'adresse https://dnhkng.github.io/posts/hopper/. Oh, et aussi, le système contient un énorme 960 Go de mémoire LPDDR5X. Les détails exacts du système sont présentés ci-dessous, avec l'aimable autorisation de l'acheteur, David Noel Ng :
- Deux Nvidia Grace-Hopper GH200 Superchip - chacun avec un CPU ARM à 72 cœurs avec 480 Go de mémoire LPDDR5X, GPU Hopper H100 avec 96 Go de mémoire HBM3
- NVlink C2C avec une bande passante de 900 Go/s
- bloc d'alimentation de 3 kW
- Deux emplacements PCIe Gen4 M.2 22110/2280
- Quatre emplacements FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
La super puce GH200 de Nvidia à prix cassé ? Il y a un piège
Dans une autre réponse, le vendeur a révélé que le système était vendu à un prix avantageux en raison de son mauvais état ( ), du fait qu'il était passé d'un refroidissement liquide à un refroidissement par airle vendeur a indiqué que le système était vendu à un prix avantageux en raison de son mauvais état, dû au fait qu'il a été converti d'un refroidissement liquide à un refroidissement par air. En outre, il a également indiqué qu'il ne pouvait pas être monté sur un rack de serveur typique, ce qui est généralement une condition préalable.
David ne s'est toutefois pas laissé décourager par ces inconvénients et s'est rendu lui-même chez le vendeur pour faire vérifier le système. Par chance, il a découvert que le vendeur avait une bonne réputation et qu'il se trouvait à environ deux heures de route de son domicile.
Une fois le système ramené à la maison, David a préparé un aspirateur et quelques litres de solution de nettoyage avant de se mettre au travail. Une fois le serveur nettoyé, un nouveau système de refroidissement par eau a été installé et quelques réparations ont été effectuées. Le plus difficile a sans doute été de résoudre le problème d'un capteur de température défectueux qui provoquait des pannes répétées du serveur, mais tout a fini par s'arranger.
Les LLM massifs se sentent chez eux : les modèles de paramètres 235B fonctionnent sans problème
David semble assez satisfait de son achat - et de sa capacité ultérieure à exécuter des LLM massifs (235B) directement à la maison. Bien sûr, l'ensemble du processus a nécessité une tonne de travail, dont la plupart est hors de portée pour ceux qui sont totalement novices en matière de matériel d'entreprise. Mais si l'on considère que les 960 Go de mémoire DDR5 valent à eux seuls plus que ce qu'il a payé pour l'ensemble du système, il s'agit sans aucun doute d'une fin heureuse.
Pour ceux qui souhaitent faire tourner des modèles d'IA plus petits à la maison sans avoir à débourser 8 000 dollars et plusieurs heures d'installation supplémentaires, le GMKtec Evo-X2 alimenté par le Strix Halo(actuellement à 1 529,99 dollars sur Amazon) pourrait être un meilleur choix.
Source(s)
David Noel Ng, Redditrepéré par Tom's Hardware
