NVIDIA dévoile le modèle d'IA générative texte-3D LATTE3D, baptisé "imprimante 3D virtuelle"

LATTE3D peut interpréter des textes très spécifiques pour générer un modèle 3D (Source d'image : NVIDIA)

L'équipe de recherche en IA de NVIDIA a dévoilé un nouveau modèle génératif capable de transformer des textes en modèles 3D en l'espace d'une seconde, prêt (ou presque) pour des applications telles que le développement de jeux, la conception et la robotique. Jusqu'à présent, le modèle n'a été entraîné qu'à générer des "animaux et des objets de la vie quotidienne", mais d'autres catégories peuvent être ajoutées. La vitesse quasi instantanée devrait transformer de nombreux flux de travail.

Vishal Bhardwaj (traduit par Ninh Duy), Published 03/25/2024 🇺🇸 🇩🇪 ...

AI 3D Printing Nvidia Virtual Reality (VR) / Augmented Reality (AR)

Alors que les modèles d'IA générateurs d'images et de vidéos dominent l'actualité depuis un certain temps, NVIDIA a fait un pas dans la direction logique suivante avec LATTE3D, un nouveau modèle d'IA génératif qui transforme des textes en modèles 3D complets en moins d'une seconde. Annoncé lors de l'événement NVIDIA GTC la semaine dernièrecette technologie est présentée comme une "imprimante 3D virtuelle", car elle peut fournir instantanément des modèles 3D "dans un format populaire utilisé pour les applications de rendu standard", prêts à être déployés dans le développement de jeux vidéo, la publicité, les projets de conception ou toute autre application nécessitant un environnement virtuel, y compris la VR et AR.

L'IA générative texte-3D n'est pas une nouvelle technologie, et le document de recherche de NVIDIA https://research.nvidia.com/labs/toronto-ai/LATTE3D/ oppose LATTE3D à plusieurs systèmes existants tels que MVDream, 3DTopia et LGM. L'avantage écrasant de LATTE3D est sa rapidité. Dans les tests comparatifs, d'autres modèles d'IA prennent entre 20 secondes et plus de 30 minutes pour générer un résultat, alors que LATTE3D produit un rendu comparable (et souvent de meilleure qualité) en seulement 400 millisecondes.

LATTE3D travaille séparément sur la géométrie 3D et la texture pour créer un modèle réaliste (Image Source : NVIDIA)

La production quasi instantanée est ce qui donne à LATTE3D un avantage sur les autres modèles d'IA (Image Source : NVIDIA)

Avec plus de temps, LATTE3D affine encore le résultat (Source d'image : NVIDIA)

Il convient de noter que, comme pour l'impression 3D, la qualité des résultats de LATTE3D et d'autres modèles d'IA s'améliore avec le temps. L'avantage est que, contrairement à l'impression 3D, on peut choisir de donner la priorité à la vitesse plutôt qu'à la qualité dans un premier temps, et décider par la suite d'attendre un résultat plus raffiné, plutôt que de fixer les paramètres dès le départ.

Comme toute autre IA générative, LATTE3D a le potentiel de transformer de nombreux flux de travail. Alors qu'auparavant, il fallait parcourir une bibliothèque de ressources 3D ou consacrer de précieuses heures de travail pour créer un simple objet, avec la technologie de NVIDIA, il suffit de taper une brève description et d'importer le résultat généré dans l'application logicielle ou les plates-formes de l'utilisateur.

Un échantillon de ce que LATTE3D est capable de faire (Image Source : NVIDIA)

Jusqu'à présent, l'équipe de recherche n'a entraîné LATTE3D qu'à créer des modèles d'objets quotidiens et d'animaux, mais il est possible de l'étendre à d'autres catégories avec les bons ensembles de données. Le modèle a été entraîné à l'aide de GPU NVIDIA A100 Tensor Core et, dans la démo de la société, il a fonctionné sur un seul NVIDIA RTX A6000.

En tant que projet de recherche, LATTE3D est encore en cours de développement et il n'a pas encore été question de le commercialiser en tant que produit ou service. Le projet prévoit d'étendre ses capacités au "text-to-4D" ou à la génération d'animations 3D.

Explorez des environnements virtuels et de réalité mixte immersifs avec le casque Meta Quest 3 et les lunettes AR XREAL Air 2 Pro, tous deux disponibles sur Amazon.