Omni-Referenz

Omni Reference generiert Video aus Referenzen. Bilder können das Aussehen leiten, Videos können die Bewegung leiten und Audio kann die Sprache leiten. Verfügbare Eingaben hängen vom Modell ab.

Bevor du beginnst

Verstehen Sie, wofür jede Referenz gedacht ist, und verwenden Sie eine pro Aufgabe:

Sie möchten steuernAnhängen
Das erste Bild exaktEin gerendertes Standbild als Start-Frame
Wer der Charakter istEin Character Sheet oder Nahaufnahme als Referenzbild
Kamerabewegung und BlockingEin Referenzvideo: eine 3D Stage-Aufnahme, ein Blender-Rendering oder eigenes Filmmaterial
Was gesagt wird und LippensynchronitätEinen Audio-Clip
Das letzte BildEin End-Frame, sofern vom Modell unterstützt

Die Anzahl der Referenzen, die Sie anhängen können, hängt vom gewählten Modell ab. Das Panel zeigt das Limit an.

Schritte

  1. Wählen Sie das Start-Frame-Bild auf dem Canvas aus.
  2. Wählen Sie Video, dann Omni Reference, dann die Modellfamilie: Gemini, Seedance, Wan, MiniMax, MiniMax H3 Max oder Kling. Ein Platzhalter-Knoten mit dem Einstellungspanel erscheint, verbunden mit Ihrem Bild.
  3. Wählen Sie das genaue Modell im Model-Dropdown des Panels, falls die Familie mehr als eines bietet.
  4. Fügen Sie die Referenztypen hinzu, die vom gewählten Modell angeboten werden. Die Familien unterscheiden sich: Gemini bietet beispielsweise Bild- und Videoreferenzen, aber keine separate Audio-Referenz-Eingabe. Ein Start Frame- oder End Frame-Steuerelement ist nicht in jeder Familie verfügbar.
  5. Schreiben Sie den Prompt und erwähnen Sie die Referenzen namentlich: „Übernehme die Aktionen des Charakters und die Kameraführung von @Video1. Behalte den Charakter von @Image1 bei."
  6. Legen Sie die Dauer und alle vom Modell angebotenen Auflösungsoptionen fest, prüfen Sie die Kosten auf dem Run-Button und starten Sie.
    Image

Der 3D Stage-Weg

Um eine Kamerabewegung präzise zu planen, erstellen und zeichnen Sie diese in 3D Stage auf. Extrahieren und rendern Sie das erste Bild, fügen Sie dann das Rendering als Start-Frame und die Aufnahme als Videoreferenz in einem Modell hinzu, das beides unterstützt. Prüfen Sie, wie genau der generierte Clip diesen folgt. Siehe 3D stage export oder Blender to AI clip.

Best Practices

Geben Sie jeder Referenz eine klare Aufgabe. Verwenden Sie zum Beispiel ein Video für die Kamerabewegung und ein Bild für das Gesicht des Charakters. Benennen Sie diese Rollen im Prompt.

Rendern Sie zuerst das Start-Frame. Ein fertiges Standbild als Start-Frame verankert den Look; das Referenzvideo muss dann nur noch die Bewegung liefern.

Erwähnen Sie jede Referenz im Prompt. Eine angehängte Referenz, die im Prompt nie erwähnt wird, könnte ignoriert werden.

Halten Sie den Prompt bei der Änderung. Die Referenzen tragen den Look; der Prompt sagt, was passiert.

Überprüfe das Ergebnis

  • Die Kamera machte, was das Referenzvideo vorgab.
  • Der Charakter ist die Person im Referenzbild, vom ersten bis zum letzten Frame.
  • Das erste Bild entspricht dem Start-Frame.
  • Wenn Audio angehängt wurde, folgt der Mund diesem.

Wenn etwas nicht stimmt

Die Kamerabewegung wurde ignoriert. Erwähnen Sie @Video1 explizit und sagen Sie, was Sie daraus übernehmen möchten: „Kameraführung und Blocking". Kürzen Sie den Clip.

Der Charakter hat sich verändert. Verwenden Sie eine klarere Referenz und bitten Sie darum, die Identität zu bewahren. Prüfen Sie das Ergebnis; die Formulierung ist keine Garantie. Siehe Character Reference.

Das erste Bild entspricht nicht meinem Standbild. Wenn das Modell Start Frame anbietet, prüfen Sie, ob das Standbild dort angehängt ist. Andere Familien bieten stattdessen allgemeine Bildreferenzen; diese leiten das Ergebnis an, ohne als dedizierte Start-Frame-Steuerung zu fungieren.

Ich kann nicht so viele Referenzen anhängen, wie ich möchte. Die Limits gelten pro Modell. Wählen Sie ein Modell, das mehr akzeptiert, oder reduzieren Sie auf die Referenzen, die wichtig sind.

Weiter