Emotion generieren
Verwenden Sie Emotion generieren, um eine gefilmte Performance in ein sauberes Driving-Video zu verwandeln: ein einfacher Tonkopf, der die Bewegung und Mimik des Schauspielers kopiert, mit einer zweiten Emotion gemischt. Steuern Sie ein Videomodell mit dem Ton anstelle der Originalaufnahme, und es folgt der Performance, ohne dass das Gesicht des Schauspielers ins Ergebnis übergeht. Es läuft in Ihrem Browser und kostet keine Credits.
Bevor du beginnst
Verwenden Sie eine Performance mit dem Gesicht zur Kamera. Gesichter im Profil können nicht getrackt werden.
Beginnen Sie die Aufnahme mit einem ruhigen Gesicht. Der Ton misst jeden Ausdruck anhand der ersten Momente der Aufnahme, daher behandelt eine Aufnahme, die mitten im Lachen beginnt, das Lachen als Ruhe und spielt es flacher ab.
Ein Clip kann bis zu vier Personen enthalten. Sie stimmen jeweils eine Person ab.
Schritte
- Öffnen Sie die +-Werkzeugleiste und wählen Sie Emotion generieren, direkt unter Musik generieren.

- Klicken Sie auf Performance und wählen Sie Hochladen, Vom Canvas auswählen oder Live aufnehmen. Für ein Video, das sich bereits auf Ihrem Canvas befindet, wählen Sie Vom Canvas auswählen. Die Karte zeigt Personen werden gesucht an, während das Gesicht getrackt wird. Eine hochgeladene oder aufgenommene Performance bleibt nur, solange die Karte geöffnet ist; nur das Generierte wird gespeichert.

- Wenn der Clip mehr als eine Person enthält, fragt die Karte Wen sollen wir abstimmen? und umrandet jedes Gesicht im Video mit seiner Nummer. Wähle eines aus. Um später zu wechseln, klicke oben auf der Karte auf ein anderes Gesicht; ein Punkt markiert die Personen, die du bereits generiert hast.
- Ziehe den Punkt auf dem Pad, um eine zweite Emotion hinzuzumischen: Freude oben, Trauer rechts, Wut unten, Angst links. Je weiter von der Mitte entfernt, desto stärker. Der Ton folgt der Performance während der Wiedergabe; durchsuche die Zeitleiste, um jeden Moment zu überprüfen.

- Klicke auf Generieren. Zwei Knoten erscheinen neben der Karte, mit ihr verbunden: das Ton-Video, die volle Länge der Performance, und ihr erster Frame als Bild. Sie sind nach dem Video benannt, wie „Emotion - Take 1". Bei mehr als einer Person gibt der Name an, wessen Gesicht es ist, wie „Emotion - Face 2 - Take 1". Eine Live-Aufnahme hat keinen Namen, daher ist ihr Clip einfach „Emotion".

In einem Video verwenden
Füge das Ton-Video als Referenz-Video in Omni Reference hinzu, mit deinem Charakter als Referenz-Bild, und sage, was von jedem übernommen werden soll: „Übernimm die Gesichtsperformance und Kopfbewegung von @Video1. Behalte den Charakter von @Image1 bei."
Für eine Szene mit mehreren Personen generiere einen Clip für jede Person und erwähne jeden neben seinem Charakter: „@Video1 steuert die Frau links, @Video2 steuert den Mann rechts." Die Namen Face 1, Face 2 unterscheiden die Clips voneinander.
Best Practices
Gesichter zur Kamera. Das Tracking folgt dem Gesicht; ein abgewandtes Gesicht geht verloren, und der Ton bleibt stehen, bis es zurückkommt.
Beginne mit einem ruhigen Gesicht. Ausdrücke werden von den ersten Momenten des Takes an gemessen.
Benenne das Video zuerst. Die Clips übernehmen den Namen des Videos, daher gibt dir ein benanntes Video Clips, die du später finden und erwähnen kannst.
Beginne mit einer kleinen Mischung. Vergleiche eine kleine Mischung mit einer starken, bevor du dich festlegst; die ursprüngliche Performance sollte noch durchscheinen.
Überprüfe das Ergebnis
- Der Ton bewegt sich, wenn sich der Schauspieler bewegt, und bleibt stehen, wo das Gesicht des Schauspielers nicht gefunden wurde.
- Die beigemischte Emotion ist erkennbar, und die ursprüngliche Performance scheint noch durch.
- Bei mehreren Personen ist jeder Clip nach der richtigen Person benannt.
Wenn etwas nicht stimmt
In den meisten Teilen des Clips verloren. Das Gesicht wurde in weniger als der Hälfte des Clips getrackt. Auf der Zeitleiste bleibt der Ton stehen, wo die Linie gepunktet ist. Verwende eine Aufnahme, bei der das Gesicht zur Kamera gerichtet bleibt.
Jemand fehlt in der Personenauswahl. Gesichter im Profil, sehr kleine Gesichter und Personen, die weniger als etwa ein Sechstel des Clips auf dem Bildschirm sind, werden nicht aufgelistet, und es werden höchstens vier Personen angezeigt.
Dieselbe Person ist zweimal aufgeführt. Sie erscheint in zwei Einstellungen des Clips, auf beiden Seiten eines Schnitts. Jede Einstellung wird separat getrackt; wählen Sie die gewünschte aus.
Der Clay bewegt sich kaum. Die Aufnahme begann mit dem Gesichtsausdruck. Schneiden Sie sie so zu, dass sie mit einem ruhigen Gesicht beginnt, und versuchen Sie es erneut.
Generieren ist nicht verfügbar. Wählen Sie bei mehreren Personen zuerst eine aus. Wenn Ihr Browser kein Video schreiben kann, wird dies auf der Karte angezeigt; verwenden Sie einen aktuellen Desktop-Browser.
Face-Tracking kann nicht ausgeführt werden. Es benötigt einen Browser mit WebGL2 und WebAssembly, bei dem die Hardwarebeschleunigung aktiviert ist.
Weiter
- Omni Reference, um ein Video mit dem Clay zu steuern.
- Seedance Performance Guide für die Regie von Performances.
- Blender to AI clip für eine andere Art von Steuerungsvideo.