明確な1つのアクションを演出する
1つの主要なアクションと1つのカメラ指示で短いクリップを始めます。何を変更しないかを明記します。このレッスンでは、駅のシーンを使ってそのアプローチを練習します。
学べること
- 被写体の動きとカメラの動きの違い、そしてなぜモデルがそれらを別々に指定する必要があるのか。
- 明確なモーション プロンプトのための3文構造。
- 尺の選び方と、エンドフレームを設定する価値がある場合。
- カメラの動きの説明をやめて、代わりにリファレンスで示すべきタイミング。
始める前に
顔とフレーミングがすでに機能している静止画から始めます。この演習では、時計から目を上げて赤い傘を見る旅行者を使用します。操作方法については動画を生成を参照してください。
ショットに1つのストーリーの目的を与えます：旅行者が傘に気づく。
ステップ1：被写体とカメラを分離する
すべての動画には2種類の動きがあり、観客はそれらを異なる形で読み取ります。
- 被写体の動きは、フレーム内の人や物が行うことです：彼女が頭を向ける、電車が入ってくる、傘が転がる。これがストーリービートを運びます。
- カメラの動きは注意を向けます。パンは左右に回転し、チルトは上下に回転します。プッシュインは近づき、プルアウトは遠ざかります。トラックは被写体に沿って追従します。固定カメラは静止したままです。
プロンプトを書く前に、2つを別々の行に書きます。振り向くショットの場合：
- 被写体：彼女は時計から目を上げ、ゆっくりと傘の方へ頭を向ける。
- カメラ：固定。
被写体のアクションが不明確な場合は、シーンを見直します。カメラに複数の動きが必要な場合は、組み合わせる前に個別にテストします。
ステップ2：プロンプトを3文で書く
3つの文を書きます：被写体のアクション、カメラのアクション、そして変更すべきでないもの。
- 被写体とアクション、ペースを示す言葉を添えて。「彼女は時計から目を上げ、ベンチの上の赤い傘に向かってゆっくりと頭を向ける。」
- カメラは、1つの指示として。「固定カメラ、ロックされたフレーミング。」または、ショットに必要な場合は1つの動き：「彼女の顔に向かってゆっくりとプッシュイン。」
- 変更してはいけないもの。「プラットフォーム、照明、フレーミングは同じまま。」
ムードラベルだけでなく、具体的な指示を使用してください。段階的なアクションの場合は、順序を明記します：「最初に彼女は上を見上げ、次に振り向く」
3つの文をImage to Videoノードの下にあるパネルのプロンプトフィールドに貼り付けます。
ステップ3：アクションを収められる最短のデュレーションを選ぶ
アクションに適した最短のデュレーションを選択してください。余分な時間は不要な動きを引き起こす可能性があります。余った時間は後でトリミングします。Trim and splitを参照してください。
モデルがEnd Frameに対応している場合は、傘に視線を落ち着かせるなど、意図した終了状態を示す静止画を添付してください。エンドポイントをガイドしますが、フレーム間の正確なアクションを保証するものではありません。
生成前にRunでコストを確認してください。適度な解像度でテストしてください。高解像度のテイクを生成する場合は、再度確認してください。ドラフトとは異なる結果になる可能性があります。
ステップ4：3テイクエクササイズを1回実行する
同じ静止画、デュレーション、モデルを使用して3つのテイクを比較します。開始前に3つすべてのコストを確認してください：
- テイクA、被写体のみ。ステップ2のアクションに「static camera」を追加。
- テイクB、カメラのみ。「彼女は傘を見つめたまま静止している。顔に向かってゆっくりプッシュイン。他には何も変化しない」
- テイクC、両方。アクションとプッシュインを組み合わせる。
Aで被写体のアクションを、Bでカメラの動きを、Cでそれらがどれだけうまく組み合わさっているかを確認してください。複合的な動きはドリフトを引き起こす可能性がありますが、うまくいくこともあります。ストーリーを明確に伝えるテイクを選んでください。
以下のクリップは、Flickレジデンシー映画Xenogenesisの1つのスタートフレームから生成された3つのテイクで、制作中に生成されました。プロンプトは記録されていませんが、このエクササイズが教えることとして読んでください：同じ静止画、同じ15秒、3つの異なる答え。
ステップ5：言葉だけでは不十分な場合、動きを見せる
テキストだけでは不十分な場合は、意図した動きを示すビデオを提供してください。静止画を選択し、Video、次にMotion Referenceを選択するか、対応する画像とビデオ入力でOmni Referenceを使用します。3D Stageの録画がカメラリファレンスを提供できます。Omni Referenceと3D stage exportを参照してください。
カメラの動きのように見える2つのものは実際にはそうではなく、それぞれ専用のツールがあります：
- 同じセットアップを別の角度で撮影する、リバースショットやリアクションショットには静止画を使用します：Imageを選択し、Change AngleでRotation、Tilt、Forwardスライダーを調整します。詳しくはCamera Controlを参照してください。
- クリップの終わりを超えてアクションを続けるには新しいクリップを作成します：Extract Frame（Last frame）で最後のフレームを取得し、次の開始フレームとして使用します。詳しくはExtract Frameを参照してください。
AIが間違える箇所とこれが役立つ理由
曖昧なプロンプトは重要な選択を未定のままにします。指示を分けることで、被写体、カメラ、背景のどれが問題を引き起こしたかを見極めやすくなります。プロンプトが正確に守られると仮定せず、結果を確認してください。
結果を確認
最後の1秒まで含めてクリップ全体を視聴し、以下を確認します：
- 被写体が指定した1つのアクションを、要求したペースで、それ以外は何もせずに実行した。
- カメラが第2文の指示通りに、それだけを実行した。
- 第3文で指定した要素（フレーミング、照明、顔）が変化していない。
- アクションがクリップ内で開始・終了し、カットのために両端に少し余裕がある。
何かおかしい場合
静止を指定したのにカメラが動いた。 カメラの文を2番目に独立させ、異なる言葉で2回述べます：「static camera, locked framing」。クリップを短くします。
アクションが最初の1秒で終わってしまう。 ペースを示す単語と順序を示す単語を追加し、アクションに合わせて長さを短縮します。
動作中に顔が変わってしまう。 頭の回転を小さくするか、カメラの動きを減らしてみてください。それぞれを個別にテストして原因を特定します。
モデルが新しい背景を作り出してしまう。 大きなカメラ移動は静止画に含まれていない要素を要求します。移動を小さくするか、3D Stageで移動を構築してリファレンスとして使用します。
同じプロンプトで2つのテイクの動きが異なる。 結果は変動します。意図したアクションと比較してください。複数のテイクをバッチ生成する場合は、まず数量と総コストを確認してください。
その他の症状についてはThe motion is not what I asked forを参照してください。
次のステップ
- 3ショットで小さな物語を語るで、他の2ショットも同じ方法で演出します。
- Generate Videoでパネル、モデル、設定について確認します。
- Seedance Performance Guideでパフォーマンスの演出をより詳しく学びます。
- Keep a character consistent across three shotsで同じ問題のアイデンティティ面について確認します。