Omni Reference

Omni Referenceはリファレンスから映像を生成します。画像は外観を、映像は動きを、音声は発話をガイドできます。利用可能な入力はモデルによって異なります。

始める前に

各リファレンスの目的を理解し、用途ごとに1つずつ使用してください：

添付できるリファレンスの数は、選択したモデルによって異なります。パネルに上限が表示されます。

手順

1. キャンバス上の開始フレーム画像を選択します。
2. Video、次にOmni Reference、そしてモデルファミリーを選択：Gemini、Seedance、Wan、MiniMax、MiniMax H3 Max、またはKling。設定パネル付きのプレースホルダーノードが表示され、画像に接続されます。
3. ファミリーが複数のモデルを提供している場合は、パネルのModelドロップダウンで正確なモデルを選択します。
4. 選択したモデルが提供するリファレンスタイプを添付します。ファミリーごとに違いがあります：例えば、Geminiは画像と動画のリファレンスを公開していますが、個別の音声リファレンス入力はありません。Start FrameまたはEnd Frameコントロールはすべてのファミリーで利用できるわけではありません。
5. プロンプトを記述し、リファレンスを名前で言及します：「@Video1からキャラクターの動作とカメラ言語をリファレンスしてください。@Image1からキャラクターを維持してください。」
6. モデルが提供する長さと解像度オプションを設定し、Runボタンでコストを確認して実行します。

   

3D Stageを使う方法

カメラの動きを正確に計画するには、3D Stageで構築して録画します。最初のフレームを抽出してレンダリングし、レンダリング結果を開始フレームとして、録画を動画リファレンスとして、両方をサポートするモデルに添付します。生成されたクリップがどれだけ忠実に従っているか確認してください。3D stage exportまたはBlender to AI clipを参照してください。

ベストプラクティス

各リファレンスに明確な役割を与えてください。例えば、カメラの動きには動画を、キャラクターの顔には画像を使用します。プロンプトでそれらの役割を明記してください。

開始フレームを最初にレンダリングしてください。完成した静止画を開始フレームとして使用することで外観が固定され、リファレンス動画は動きのみを提供すればよくなります。

すべてのリファレンスをプロンプトで言及してください。プロンプトで一度も言及されない添付リファレンスは無視される可能性があります。

プロンプトは変化について記述してください。リファレンスが外観を伝え、プロンプトは何が起こるかを伝えます。

結果を確認

• カメラはリファレンス動画と同じ動きをした。
• キャラクターはリファレンス画像の人物で、最初から最後まで一貫している。
• 最初のフレームは開始フレームと一致している。
• 音声が添付されている場合、口の動きがそれに従っている。

何かおかしい場合

カメラの動きが無視された。@Video1を明示的に言及し、そこから何を取り入れるかを述べてください：「カメラ言語とブロッキング」。クリップを短くしてください。

キャラクターが変わった。より明確なリファレンスを使用し、アイデンティティの保持を依頼してください。結果を確認してください。言葉遣いは完全な保証ではありません。Character Referenceを参照してください。

最初のフレームが静止画と一致しない。モデルがStart Frameを提供している場合、静止画がそこに添付されているか確認してください。他のファミリーは代わりに一般的な画像リファレンスを公開しています。これらは専用の開始フレームコントロールとしてではなく、結果をガイドするものです。

希望する数のリファレンスを添付できない。制限はモデルごとに異なります。より多く受け入れるモデルを選択するか、重要なリファレンスのみに絞ってください。

次のステップ

• 動画生成の長さ、解像度、モーションプロンプトについて。
• 3Dステージエクスポートでカメラテイクを記録してリファレンスに。
• 音声一貫性でこのワークフローの音声側を制御。