Nvidia présente des PNJ interactifs et la reconstruction de rayons DLSS 3.5 qui sera disponible sur tous les GPU RTX à l'automne

Outre l'annonce d'un remaster RTX de Half-Life 2 RTX remaster à la Gamescom 2023, Nvidia a également présenté quelques améliorations à venir pour ses technologies RTX. Il s'agit notamment d'un modèle de langage étendu (LLM) pour les personnages non jouables (PNJ) dans le jeu et d'une mise à jour majeure de DLSS 3.5 qui offre de meilleurs effets d'éclairage via la reconstruction de rayons.

Nvidia ACE et NeMo SteerLM

Les PNJ contribuent à l'immersion dans l'univers d'un jeu, mais c'est une tâche herculéenne pour les développeurs que de programmer distinctement tous les PNJ d'un jeu. Nvidia a présenté pour la première fois son moteur Avatar Cloud Engine (ACE) lors du Computex 2023, qui exploite l'IA pour apporter de l'intelligence aux PNJ.

ACE s'appuie sur trois composants principaux alimentés par l'IA - NeMo LLM, la reconnaissance automatique de la parole (ASR) et les capacités de synthèse vocale (TTS) de Riva, et Omniverse Audio2Face qui peut créer une animation faciale à partir d'une source audio.

Aujourd'hui, la société complète ACE avec NeMo SteerLM, un LLM qui ajoute de la personnalité et de l'émotion aux PNJ pour plus de réalisme. SteerLM permet aux joueurs de définir et d'affiner l'interaction avec les personnages de la même manière que les LLM peuvent être guidés à l'aide d'invites en langage naturel. SteerLM permet également aux développeurs de faire en sorte que les modèles soient influencés par les événements du monde du jeu.

DLSS 3.5 apporte la reconstruction de rayons à tous les GPU RTX

Nvidia a présenté DLSS 3 avec Frame Generation qui exploite les cœurs Tensor de 4e génération et les accélérateurs Optical Flow des GPU de la série RTX 40. Aujourd'hui, à la Gamescom 2023, Nvidia apporte la possibilité d'inclure des pipelines de ray tracing avec DLSS 3.5.

Un pipeline de ray tracing traditionnel échantillonne les rayons pour les réflexions et l'illumination globale, puis les soumet à un débruitage. Dans DLSS, cette opération est effectuée à une résolution inférieure, puis mise à l'échelle. Cependant, l'utilisation de débruiteurs, bien qu'essentielle, peut entraîner un éclairage imprécis tout en supprimant potentiellement des informations, telles que la couleur.

Actuellement, les développeurs utilisent l'outil Nvidia Real-time Denoiser (NRD), qui représente une grande amélioration par rapport à la solution de filtrage guidée par la variance spatio-temporelle (SVGF) utilisée précédemment. Des rumeurs indiquent que Nvidia inclura un accélérateur de débruitage directement dans le pipeline RT avec les prochaines cartes RTX 50 Blackwell.

Il ne s'agit cependant que de spéculations, et la RTX 50 ne verra pas le jour avant plusieurs années. Pour l'instant, Nvidia vise à surmonter les limites du débruitage avec DLSS 3.5, qui introduit la reconstruction de rayons (RR) alimentée par l'IA.

Selon la société, la RR est entraînée sur 5 fois plus de données que DLSS 3 et constitue une solution supérieure qui est entraînée à reconnaître les vecteurs de mouvement et les effets de traçage de rayons tout en étant capable de différencier les bons pixels et les pixels de mauvaise qualité. Le réseau d'IA est également entraîné à conserver les informations vitales pour générer une mise à l'échelle de haute qualité.

Selon Nvidia, l'activation de DLSS 3.5 ne devrait pas avoir d'impact majeur sur les performances globales du jeu. Contrairement à DLSS 3.0 Frame Generation (FG) qui utilise explicitement les accélérateurs de flux optiques dans les GPU de la série RTX 40, DLSS 3.5 RR fonctionnera sur toutes les cartes RTX.

DLSS 3.5 sera disponible cet automne pour des jeux tels que Cyberpunk 2077 : Phantom Liberty, Portal avec RTX et Alan Wake 2 et sera pris en charge par des plateformes telles que Omniverse, Chaos Vantage et D5 Render.