Des vidéos générées par l'IA avec des personnages et des scènes cohérents ? Test pratique de Vidu.com
Questions relatives à l'intelligence artificielle.
Vidu.com affirme que son IA peut générer des vidéos avec des personnages et des environnements cohérents. Cela signifie que vous pourriez enchaîner plusieurs séquences avec les mêmes "acteurs" et potentiellement créer des films entiers (courts). Mais cela fonctionne-t-il vraiment ? Nous l'avons mis à l'épreuve.Christian Hintze (traduit par DeepL / Ninh Duy) Publié 🇺🇸 🇩🇪
Verdict - Un potentiel énorme, mais pas encore exploité
Le potentiel (et les risques) est impressionnant. L'IA va sans aucun doute remodeler non seulement la création de contenu, mais aussi les industries du cinéma et du jeu. Le fait de disposer de personnages, de décors et d'environnements cohérents constitue une étape importante pour que les générateurs vidéo d'IA ne soient plus seulement utilisés à des fins fantaisistes.
Pour l'instant, ce n'est pas tout à fait le cas. Quel est l'intérêt si la personne reste la même (à supposer qu'elle le soit) mais qu'elle traverse des objets solides, se dédouble soudainement ou que six doigts lui poussent sur une main ?
Pour l'instant, Vidu.com ressemble davantage à un jouet. C'est amusant, mais la technologie n'est pas encore assez fiable pour une utilisation professionnelle dans le domaine du cinéma, de la publicité ou dans d'autres domaines similaires. Il y a tout simplement trop de problèmes.
Points positifs
Points négatifs
Prix et disponibilité
Tout le monde peut essayer Vidu.com gratuitement après avoir créé un compte. Le système fonctionne sur la base de crédits. Les nouveaux utilisateurs reçoivent des crédits de départ, et vous pouvez en gagner d'autres grâce à certaines actions.
Il existe également des options d'abonnement mensuel et annuel.
Malgré les critiques valables, nous trouvons l'IA fascinante dans ce domaine. Mais la qualité des résultats varie considérablement : d'un côté, vous pouvez obtenir des environnements incroyablement détaillés directement à partir de votre imagination. D'autre part, les personnes générées par l'IA regardent souvent dans le vide ou se déplacent au ralenti.
Nous avons donc confié au nouveau générateur de vidéos d'IA Vidu.com nous avons fait un essai. Les développeurs ont gentiment ajouté 500 crédits à notre compte pour que nous puissions les tester. Le modèle phare de la plateforme, Vidu Q1, peut traiter jusqu'à sept images de référence dans une seule séquence vidéo. Les éléments manquants peuvent être générés par le biais d'invites textuelles.
Que pouvez-vous faire avec Vidu ?
Avec Vidu, vous pouvez générer des vidéos d'IA à l'aide de ces outils :
- Text to Video (du texte à la vidéo) : Saisissez un message décrivant ce qui doit se passer dans la vidéo
- De l'image à la vidéo : Générer une vidéo à partir d'une seule image. Encore plus cool : définissez une image de début et une image de fin, et Vidu remplit la transition
- Référence à la vidéo : La fonction la plus intéressante. Téléchargez des images de personnages, de lieux ou d'objets, et l'intelligence artificielle s'efforce de les rendre cohérentes dans la vidéo.
la sortie est en Full HD, 16:9, avec le format smartphone en option. Les vidéos peuvent même être mises à l'échelle, par exemple en 4K.
Expérience pratique - courbe d'apprentissage, messages précis
Notre plan ambitieux :
- Scène 1 : Un rédacteur de Notebookcheck se trouve dans un bureau et teste un ordinateur portable.
- Scène 2 : Il tape une note médiocre.
- Scène 3 : On passe à un autre bureau, où des hommes en costume regardent la vidéo de surveillance du rédacteur en train d'entrer cette mauvaise note.
- Scène 4 : L'un des costards appuie sur un bouton d'alarme.
- Scène 5 : Une équipe de type SWAT est envoyée sur place.
Au total, nous avons élaboré 10 scènes brutes.
1. Scène : Un rédacteur teste un ordinateur portable
Nous avons utilisé une ancienne photo, pas tout à fait à jour, de l'un de nos rédacteurs comme référence du personnage, ainsi qu'une photo de bureau pour le décor. Nous avons ajouté notre logo Notebookcheck, un ordinateur portable et le logo d'une marque fictive de PC ("Lavani"). Nous avons ensuite donné l'instruction suivante :
En bref : notre rédacteur (image 1) doit se trouver dans le bureau (image 2) et tester un ordinateur portable. Le logo Notebookcheck (image 3) doit apparaître sur le mur de briques en arrière-plan.
Le rendu d'un clip de 5 secondes avec le modèle Vidu Q1 ne prend qu'une à deux minutes et coûte 15 à 20 crédits. Le résultat ?
Nous n'étions pas très satisfaits des points suivants :
- Pourquoi la coiffure de notre personnage ne correspond-elle pas à la photo de référence ? Est-ce qu'elle restera cohérente dans les scènes suivantes ?
- Pourquoi le logo de référence a-t-il été transformé en "notobochech" ?
- Pourquoi l'angle de caméra "au-dessus de l'épaule" demandé n'a-t-il pas été inclus ?
- Pourquoi le monteur parle-t-il tout le temps dans un micro ?
Pour les réalisateurs, il est difficile d'obtenir les angles de caméra et les configurations exactes qu'ils décrivent.
Nous avons peaufiné notre message, mais plus nous ajoutions de détails, plus les problèmes surgissaient. La coiffure était correcte, mais il y avait soudain deux rédacteurs en chef jumeaux à l'écran. Puis notre rédacteur a traversé un bureau.
L'IA a également eu du mal à placer le premier plan. Et malgré des demandes répétées, elle n'a jamais produit la prise de vue par-dessus l'épaule demandée. En bref, nos entrées de texte n'ont pas été suivies avec précision.
De l'image à la vidéo
Nous avons mis de côté notre idée ambitieuse de court métrage et avons essayé la transition image-vidéo et les transitions entre deux images de référence.
a première méthode a assez bien fonctionné. Par exemple, notre image d'Illidan (tirée de *Warcraft 3*) a été transformée en un court clip. La caméra a fait un zoom sur le visage du chasseur de démons qui se renfrogne. Pour des raisons de droits d'auteur, nous ne montrerons pas l'image ou la vidéo ici.
Enfin, nous avons testé une transition entre deux images :
- Illidan est debout sur un rocher.
- Illidan atterrit sur le sol.
L'idée : Illidan doit sauter du rocher (image 1) et atterrir sur le sol (image 2). Mais dans la vidéo générée, Illidan s'est transformé en une ombre noire ressemblant à un oiseau. Totalement inutilisable.
Résumé
Générer des vidéos avec Vidu.com est très simple. Mais obtenir les scènes, les angles de caméra et les actions exactes que vous souhaitez est loin d'être une sinécure. Les invites ne sont pas suivies de près, les images de référence sont déformées (logo, coiffure), les objets perdent leur cohérence physique (marcher dans un bureau) ou d'autres problèmes surviennent (éditeur en double).
Dans l'ensemble, c'est un peu frustrant et cela rend presque impossible la création de vidéos vraiment cohérentes et adaptées à votre vision.
