全能参考

Omni Reference 根据参考生成视频。图像可以引导外观,视频可以引导运动,音频可以引导语音。可用的输入取决于模型。

开始之前

明确每个参考的用途,每项任务使用一个参考:

您想要控制附加
精确的第一帧已渲染的静态图作为起始帧
角色是谁角色设定图或特写作为参考图像
镜头运动和走位参考视频:3D Stage 录制、Blender 渲染或您拥有的实拍素材
说话内容和唇形同步音频片段
最后一帧结束帧,在支持的模型上

可附加的参考数量取决于所选模型。面板会显示限制。

步骤

  1. 在画布上选择起始帧图像。
  2. 选择视频,然后选择Omni Reference,接着选择模型系列:GeminiSeedanceWanMiniMaxMiniMax H3 MaxKling。一个带有设置面板的占位节点会出现,并连接到您的图像。
  3. 如果该系列提供多个模型,在面板的模型下拉菜单中选择具体模型。
  4. 附加所选模型提供的参考类型。不同系列有所不同:例如,Gemini 提供图像和视频参考,没有单独的音频参考输入。并非每个系列都提供起始帧或结束帧控制。
  5. 编写提示词并按名称提及参考:"从 @Video1 中参考角色的动作和镜头语言。保持 @Image1 中的角色。"
  6. 设置时长和模型提供的任何分辨率选项,在运行按钮上查看成本,然后运行。
    Image

3D Stage 路径

要精确规划镜头运动,可在 3D Stage 中构建和录制。提取并渲染第一帧,然后在支持这两种输入的模型中,将渲染图作为起始帧附加,将录制内容作为视频参考附加。检查生成的片段对它们的遵循程度。参见3D stage 导出Blender 到 AI 片段

最佳实践

给每个参考明确的任务。例如,使用视频控制镜头运动,使用图像控制角色面部。在提示词中说明这些角色。

先渲染起始帧。一个完成的静态图作为起始帧可以锚定外观;然后参考视频只需提供运动即可。

在提示词中提及每个参考。提示词中从未提及的附加参考可能会被忽略。

让提示词专注于变化。参考承载外观;提示词说明发生什么。

检查结果

  • 镜头按照参考视频的方式运动。
  • 角色是参考图像中的人物,从第一帧到最后一帧。
  • 第一帧与起始帧匹配。
  • 如果附加了音频,口型会跟随它。

如果出现问题

镜头运动被忽略了。明确提及 @Video1 并说明要从中获取什么:"镜头语言和走位。"缩短片段。

角色发生了变化。使用更清晰的参考并要求保持身份一致。检查结果;措辞并非绝对锁定。查看角色参考

第一帧与我的静态图不匹配。如果模型提供起始帧功能,请检查静态图是否已附加在那里。其他系列则提供通用图像参考;这些参考会引导结果,但不作为专用的起始帧控制。

我无法附加足够多的参考。限制取决于具体模型。选择接受更多参考的模型,或减少到真正重要的参考。

下一步