Référence Omni
Omni Reference génère de la vidéo à partir de références. Les images peuvent guider l'apparence, la vidéo peut guider le mouvement, et l'audio peut guider la parole. Les entrées disponibles dépendent du modèle.
Avant de commencer
Sachez à quoi sert chaque référence et n'en apportez qu'une par tâche :
| Vous souhaitez contrôler | Attachez |
|---|---|
| La première image exactement | Une image fixe rendue comme image de départ |
| Qui est le personnage | Une planche de personnage ou un gros plan comme image de référence |
| Mouvement de caméra et mise en place | Une vidéo de référence : une prise de 3D Stage, un rendu Blender ou des images réelles dont vous êtes propriétaire |
| Ce qui est dit et la synchronisation labiale | Un clip audio |
| La dernière image | Une image de fin, si le modèle le prend en charge |
Le nombre de références que vous pouvez attacher dépend du modèle choisi. Le panneau affiche la limite.
Étapes
- Sélectionnez l'image de départ sur le canvas.
- Choisissez Video, puis Omni Reference, puis la famille de modèles : Gemini, Seedance, Wan, MiniMax, MiniMax H3 Max ou Kling. Un nœud provisoire avec le panneau de paramètres apparaît, connecté à votre image.
- Sélectionnez le modèle exact dans le menu déroulant Model du panneau si la famille en propose plusieurs.
- Attachez les types de référence proposés par le modèle sélectionné. Les familles diffèrent : par exemple, Gemini expose des références image et vidéo, mais pas d'entrée de référence audio distincte. Un contrôle Start Frame ou End Frame n'est pas disponible dans toutes les familles.
- Rédigez le prompt et mentionnez les références par leur nom : « Reprenez les actions du personnage et le langage de caméra de @Video1. Conservez le personnage de @Image1. »
- Définissez la durée et les options de résolution proposées par le modèle, vérifiez le coût sur le bouton Run, puis lancez.
La méthode 3D Stage
Pour planifier un mouvement de caméra avec précision, construisez-le et enregistrez-le dans 3D Stage. Extrayez et effectuez le rendu de la première image, puis attachez le rendu comme image de départ et l'enregistrement comme vidéo de référence dans un modèle qui prend en charge les deux. Vérifiez à quel point le clip généré les suit. Voir 3D stage export ou Blender to AI clip.
Bonnes pratiques
Donnez à chaque référence un rôle clair. Par exemple, utilisez une vidéo pour le mouvement de caméra et une image pour le visage du personnage. Indiquez ces rôles dans le prompt.
Effectuez d'abord le rendu de l'image de départ. Une image fixe terminée comme image de départ ancre le visuel ; la vidéo de référence n'a alors qu'à fournir le mouvement.
Mentionnez chaque référence dans le prompt. Une référence attachée que le prompt ne mentionne jamais peut être ignorée.
Concentrez le prompt sur le changement. Les références portent le visuel ; le prompt dit ce qui se passe.
Examinez le résultat
- La caméra a suivi ce que faisait la vidéo de référence.
- Le personnage est la personne dans l'image de référence, de la première à la dernière image.
- La première image correspond à l'image de départ.
- Si un audio était attaché, la bouche le suit.
Si quelque chose ne va pas
Le mouvement de caméra a été ignoré. Mentionnez @Video1 explicitement et dites ce qu'il faut en reprendre : « langage de caméra et mise en place ». Raccourcissez le clip.
Le personnage a changé. Utilisez une référence plus claire et demandez à préserver l'identité. Vérifiez le résultat ; la formulation n'est pas une garantie. Voir Character Reference.
La première image ne correspond pas à mon image fixe. Si le modèle propose Start Frame, vérifiez que l'image fixe y est bien attachée. D'autres familles exposent plutôt des références image générales ; celles-ci guident le résultat sans agir comme un contrôle d'image de départ dédié.
Je ne peux pas attacher autant de références que je le souhaite. Les limites sont propres à chaque modèle. Choisissez un modèle qui en accepte davantage, ou réduisez aux références qui comptent.
Suivant
- Générer une vidéo pour la durée, la résolution et les prompts de mouvement.
- Exportation de scène 3D pour enregistrer une prise de caméra en référence.
- Cohérence vocale pour le côté audio de ce flux de travail.