La Nvidia RTX 5090 fonctionne sur macOS avec un nouveau pilote personnalisé de Tiny Corp

Apple et Nvidia ont mis fin à leur partenariat il y a de nombreuses années, laissant les utilisateurs de Mac sans prise en charge officielle du GPU. Cette rupture a entraîné la disparition de CUDA sur la plate-forme et a contraint les développeurs et les chercheurs à se tourner vers Apple 's own Metal framework. Cependant, un nouveau pilote open-source de Tiny Corp a finalement réglé ce problème en ramenant le matériel Nvidia Blackwell dans l'écosystème macOS.

Le projet utilise une extension personnalisée du noyau appelée Tiny GPU. Il permet aux GPU externes, tels que la RTX 5090, de s'interfacer directement avec Apple Silicon Macs via Thunderbolt 5 ou USB4. Il s'agit d'une avancée technique importante en soi, puisqu'elle permet d'éviter complètement le recours aux machines virtuelles. Dans la démo d'Alex Ziskind, une RTX 5090 avec 32 Go de VRAM a été couplée avec succès à un Mac Mini M4 Pro (1399 $ sur Amazon pour la version 24 Go). 1399 $ sur Amazon pour la variante 24 Go/512 Go, voici notre avis détaillé).

Bien que la connexion soit stable, la pile logicielle actuelle n'en est qu'à ses débuts. Le pilote s'appuie sur le compilateur Tiny Grad plutôt que sur les optimisations natives Metal ou CUDA. Cela crée un écart de performance lors des tâches de calcul lourdes. Lors de l'exécution du modèle Llama 3.1 8Bla configuration atteint environ 7,48 jetons par seconde. Bien qu'il s'agisse d'une grande victoire pour la compatibilité, c'est toujours plus lent que le Llama CPP natif sur Metal, dit Alex, qui est près de dix fois plus rapide sur un matériel équivalent.

Quoi qu'il en soit, la véritable valeur de ce projet réside dans son potentiel d'optimisation future. Le goulot d'étranglement actuel n'est pas le câble Thunderbolt 5, qui gère efficacement le transfert du poids du modèle, mais l'efficacité des noyaux autogénérés. Pour les interfaces de chat simples, l'installation de Blackwell est rapide, offrant des vitesses de temps jusqu'au premier jeton qui sont trois à quatre fois plus rapides que les solutions Metal natives.

Le processus d'installation comprend l'approbation d'une extension système et l'exécution d'un pipeline de compilation basé sur Docker. Il est clair qu'il ne s'agit pas (encore) d'un remplacement des flux de travail rationalisés de Metal, mais il s'agit tout de même du premier flux fonctionnel depuis des années.