Generate Emotion

Generate Emotion を使用すると、撮影されたパフォーマンスをクリーンな駆動用動画に変換できます:俳優の動きと表情をコピーし、2つ目の感情をミックスした、シンプルな粘土の頭部です。元の撮影の代わりにこの粘土で動画モデルを駆動すると、俳優の顔が結果に反映されることなくパフォーマンスに追従します。ブラウザ内で実行され、クレジットは消費しません。

始める前に

顔がカメラに向いているパフォーマンスを使用してください。横顔になっている顔はトラッキングできません。

撮影は落ち着いた表情で開始してください。粘土は撮影の最初の数瞬を基準にすべての表情を測定するため、笑っている途中で開始すると、その笑いが安静状態として扱われ、より平坦に再生されます。

1つのクリップには最大4人まで含めることができます。一度に調整できるのは1人ずつです。

手順

  1. + ツールバーを開き、Generate Music のすぐ下にある Generate Emotion を選択します。
+ ツールバー:Generate Music の下の Generate Emotion。
+ ツールバー:Generate Music の下の Generate Emotion。
  1. Performance をクリックし、Upload、Select from Canvas、または Record live を選択します。既にキャンバス上にある動画の場合は、Select from Canvas を選択してください。カードには顔をトラッキングしている間 Finding people と表示されます。アップロードまたは録画されたパフォーマンスはカードが開いている間のみ保持されます。保存されるのは生成したもののみです。
パフォーマンスでは、アップロード、キャンバスから選択、ライブ録画が可能です。
パフォーマンスでは、アップロード、キャンバスから選択、ライブ録画が可能です。
  1. クリップに複数の人物が含まれている場合、カードに誰を調整しますか?と表示され、動画上の各顔に番号が付けられます。1人選択してください。後で切り替えるには、カード上部の別の顔をクリックします。ドットは、既に生成した人物を示します。
  2. パッド上のドットをドラッグして、2つ目の感情を混ぜ合わせます:喜びは上、悲しみは右、怒りは下、恐怖は左。中心から離れるほど、強くなります。クレイはパフォーマンスの再生に合わせて動きます。タイムラインをスクラブして任意の瞬間を確認できます。
58%の悲しみと13%の喜びを混ぜた笑いのパフォーマンス。
58%の悲しみと13%の喜びを混ぜた笑いのパフォーマンス。
  1. 生成をクリックします。カードの横に2つのノードが表示され、接続されます:クレイ動画(パフォーマンスの全長)と、その最初のフレームの画像です。これらは動画にちなんで「Emotion - Take 1」のように名付けられます。複数の人物がいる場合、名前には誰の顔かが示され、「Emotion - Face 2 - Take 1」のようになります。ライブ録画には名前がないため、クリップは単に「Emotion」となります。
クレイ動画とその最初のフレーム。カードの横に、アップロードされた動画にちなんだ名前で表示されています。
クレイ動画とその最初のフレーム。カードの横に、アップロードされた動画にちなんだ名前で表示されています。

動画で使用する

クレイ動画をOmni Referenceのリファレンス動画として添付し、キャラクターをリファレンス画像として、それぞれから何を取り入れるかを指定します:「@Video1から顔のパフォーマンスと頭の動きをリファレンスします。@Image1からキャラクターを保持します。」

複数の人物がいるシーンの場合、各人物のクリップを生成し、それぞれのキャラクターの横に記載します:「@Video1が左側の女性を動かし、@Video2が右側の男性を動かします。」Face 1、Face 2という名前でクリップを区別できます。

ベストプラクティス

カメラに向いた顔。トラッキングは顔を追跡します。顔が背けられると見失われ、クレイは顔が戻るまで静止します。

穏やかな顔で始める。表情はテイクの最初の瞬間から測定されます。

最初に動画に名前を付ける。クリップは動画の名前を引き継ぐため、動画に名前を付けておくと、後で見つけて参照できるクリップが得られます。

小さめの混合から始める。決定する前に、小さめの混合と強めの混合を比較してください。元のパフォーマンスが見えるはずです。

結果を確認

  • クレイは俳優が動くと動き、俳優の顔が検出されなかった場所では静止します。
  • 混ぜ合わせた感情が読み取れ、元のパフォーマンスもまだ見えています。
  • 複数の人物がいる場合、各クリップは正しい人物の名前が付けられています。

何かおかしい場合

クリップのほとんどで見失われています。顔はクリップの半分未満でしか追跡されませんでした。タイムライン上で、線が点線になっている場所でクレイは静止しています。顔がカメラに向いたままのショットを使用してください。

選択する人物の中に誰かが不足しています。横顔、非常に小さい顔、クリップの約6分の1未満しか画面に映っていない人物はリストに表示されず、最大で4人までが表示されます。

同じ人物が2回リストされています。カットの前後で、クリップの2つのショットに登場しています。各ショットは個別にトラッキングされています。必要な方を選択してください。

クレイがほとんど動いていません。テイクが表情から始まっています。穏やかな表情から始まるようにトリミングして、もう一度試してください。

生成が利用できません。複数の人物がいる場合は、まず1人を選択してください。ブラウザが動画を書き込めない場合、カードにその旨が表示されます。最新のデスクトップブラウザを使用してください。

顔トラッキングを実行できません。WebGL2とWebAssemblyに対応し、ハードウェアアクセラレーションが有効になっているブラウザが必要です。

次のステップ