全能参考
Omni Reference 根据参考生成视频。图像可以引导外观,视频可以引导运动,音频可以引导语音。可用的输入取决于模型。
开始之前
明确每个参考的用途,每项任务使用一个参考:
| 您想要控制 | 附加 |
|---|---|
| 精确的第一帧 | 已渲染的静态图作为起始帧 |
| 角色是谁 | 角色设定图或特写作为参考图像 |
| 镜头运动和走位 | 参考视频:3D Stage 录制、Blender 渲染或您拥有的实拍素材 |
| 说话内容和唇形同步 | 音频片段 |
| 最后一帧 | 结束帧,在支持的模型上 |
可附加的参考数量取决于所选模型。面板会显示限制。
步骤
- 在画布上选择起始帧图像。
- 选择视频,然后选择Omni Reference,接着选择模型系列:Gemini、Seedance、Wan、MiniMax、MiniMax H3 Max 或 Kling。一个带有设置面板的占位节点会出现,并连接到您的图像。
- 如果该系列提供多个模型,在面板的模型下拉菜单中选择具体模型。
- 附加所选模型提供的参考类型。不同系列有所不同:例如,Gemini 提供图像和视频参考,没有单独的音频参考输入。并非每个系列都提供起始帧或结束帧控制。
- 编写提示词并按名称提及参考:"从 @Video1 中参考角色的动作和镜头语言。保持 @Image1 中的角色。"
- 设置时长和模型提供的任何分辨率选项,在运行按钮上查看成本,然后运行。

3D Stage 路径
要精确规划镜头运动,可在 3D Stage 中构建和录制。提取并渲染第一帧,然后在支持这两种输入的模型中,将渲染图作为起始帧附加,将录制内容作为视频参考附加。检查生成的片段对它们的遵循程度。参见3D stage 导出或Blender 到 AI 片段。
最佳实践
给每个参考明确的任务。例如,使用视频控制镜头运动,使用图像控制角色面部。在提示词中说明这些角色。
先渲染起始帧。一个完成的静态图作为起始帧可以锚定外观;然后参考视频只需提供运动即可。
在提示词中提及每个参考。提示词中从未提及的附加参考可能会被忽略。
让提示词专注于变化。参考承载外观;提示词说明发生什么。
检查结果
- 镜头按照参考视频的方式运动。
- 角色是参考图像中的人物,从第一帧到最后一帧。
- 第一帧与起始帧匹配。
- 如果附加了音频,口型会跟随它。
如果出现问题
镜头运动被忽略了。明确提及 @Video1 并说明要从中获取什么:"镜头语言和走位。"缩短片段。
角色发生了变化。使用更清晰的参考并要求保持身份一致。检查结果;措辞并非绝对锁定。查看角色参考。
第一帧与我的静态图不匹配。如果模型提供起始帧功能,请检查静态图是否已附加在那里。其他系列则提供通用图像参考;这些参考会引导结果,但不作为专用的起始帧控制。
我无法附加足够多的参考。限制取决于具体模型。选择接受更多参考的模型,或减少到真正重要的参考。