你给我: 你自己的歌(音乐文件)、歌词原文、主角(一张照片或一段描述)和想要的视觉风格。
你拿到: 一支主角对口型演唱、穿插叙事镜头的 MV。默认先做一段副歌试片,满意后再做全曲。附音乐解析表、分镜表和工程目录,以后可以只换个别镜头重新组装。
用户上传一首歌,Agent 先在本地把歌拆清楚:节拍、段落、每句歌词的起止时间。再按歌词和节拍设计分镜,用 Flova 生成角色、关键帧、对口型演唱镜头和叙事镜头,最后用 FFmpeg 把所有镜头对齐到原曲的时间轴上,组装成片。
几条贯穿全片的规则:歌词不切断、严格区分对口型镜头和叙事镜头、关键帧锁定一致性、对口型镜头不变速。音频解析和剪辑装配在本地完成,时间点可以直接核对。
工具与分工
- 音频分析(本地 Python): 测节拍和段落,取得每句歌词的起止时间。常用
librosa测节拍,faster-whisper或whisperx取得逐词时间;有demucs时可分离出人声。必需其一:本地分析工具,或用户提供带时间的歌词。 - FFmpeg: 读取音频信息,切出每个对口型镜头的驱动音频,最后组装和导出。必需。
- 分镜设计: 输出分镜和元素清单。
- Flova: 生成角色三视图、场景、关键帧,对口型演唱镜头和叙事镜头。必需。
- 字幕(按需): 用户需要时,提供 HyperFrames、Remotion 或 FFmpeg 等后期方案。
分项方法索引
在对应步骤读取:
- :什么时候做对口型镜头、歌词不切断和缓冲重叠的处理、驱动音频的先决条件、关键帧连贯、验收和组装规则。第 3、6、7、8 步读。
- :角色三视图、关键帧、叙事镜头和对口型镜头的提示词写法,以及生成被拦截时怎样改写。第 4、5、7 步写请求时读。
先说清楚的边界
- 音乐: 只用用户自己的歌,或用户有权使用的歌。
- 真人形象: 用户上传真人照片做主角时,确认是本人或已获得同意。不模仿真实明星的长相和声音。
- 范围和花费: 一首完整的歌通常需要二三十个镜头,对口型镜头成本较高。默认先做一段副歌(约 20–40 秒)作为试片,用户满意后再做全曲。用户明确要求时直接做全曲。
工作流程
检查输入与环境 → 解析音乐(确认点)→ 元素与分镜(确认点)→ 生成元素图(确认点)→ 生成关键帧(确认点)→ 切驱动音频 → 生成镜头视频(确认点)→ 组装成片 → 交付
1. 检查输入与环境
- 取得音乐文件,用
ffprobe记录时长、采样率、声道。只有链接时用宿主可用的媒体获取工具取得实际文件;无法读取时请用户提供文件。 - 向用户补齐:歌词原文(强烈建议提供,转写容易出错)、要做的范围(副歌试片或全曲)、画幅、主角(上传照片或描述)、视觉风格。
- 检查工具:FFmpeg、Python 音频库、Flova。缺少音频分析工具时,请用户提供带时间的歌词(如 LRC 文件),或说明时间点会由 Agent 听写估计、精度较低。
2. 解析音乐(确认点)
在本地完成,结果写进 docs/audio-map.md,同时存一份 docs/audio-map.json 供组装使用:
- 基本信息: BPM、拍号、强拍位置。
- 段落: 前奏、主歌、导歌、副歌、桥段、尾奏,各自的起止时间(毫秒)。
- 歌词时间: 每一行歌词的
start_ms、end_ms。用户给了歌词原文时,把转写结果对齐到原文,以原文为准;没给时用转写结果,并请用户校对。 - 人声: 能分离人声时,保存人声轨
audio/vocals.wav,用于第 6 步的驱动音频,对口型会更准。
给用户看段落划分和歌词时间表,确认后再往下走。时间对不上,后面所有镜头都会错位。
3. 元素与分镜(确认点)
用 分镜设计 输出分镜,遵守以下规则(完整判定清单和缓冲重叠的处理见 ):
- 元素: 主角和其他角色(每套造型分开写,例如「造型 1」「造型 2」)、关键场景(空间布局、朝向、光线)、关键道具。用户给了参考图时,描述必须和参考图一致。
- 歌词不切断: 一句歌词完整地落在一个镜头里,不能把一句或一个短语切到两个镜头。镜头边界以歌词行起止时间为准,前后各留约 1 秒缓冲。
- 对口型镜头的判断: 只有同时满足「画面里有人正在唱」和「看得见的嘴必须和人声对上」两个条件,才设计成对口型镜头。纯伴奏、舞蹈、剧情表演、大全景、反应镜头,以及「副歌时歌手在画面里但没有唱的特写」,都设计成叙事镜头。不要机械地交替「叙事 + 对口型」。
- 镜头长度: 对口型镜头受模型限制,单段音频长度有上限(以查询结果为准),长句或连续演唱要拆成多个对口型镜头,拆点落在句间停顿上。叙事镜头的切点优先落在强拍和段落交界处。
- 每个镜头写清: 编号、起止时间(毫秒)、对应歌词、段落、类型(对口型或叙事)、场景、出场元素、景别、角度、运镜、动作。
给用户看分镜表和时间规划,确认后再生成。
4. 生成元素图(确认点)
按 Flova Skill 选择模式和模型,一般用快速生成:素材要交给 FFmpeg 组装。生成请求按 来写。
- 用户上传了主角照片:以照片为参考生成。没有:按描述生成。
- 角色生成正面、侧面、背面三视图;多套造型分别生成。场景和道具各生成一张设定图。
- 生成后请用户确认,确认的图作为后续所有镜头的参考。
5. 生成关键帧(确认点)
- 每个镜头生成一张关键帧,锁定构图、光线和人物姿态。
- 每张关键帧的参考素材 = 这个镜头出场元素的设定图 + 同一场景中前一个镜头的关键帧,保证连续。
- 对口型镜头的关键帧要看得清脸和嘴,人物处在准备开口的姿态。
- 给用户看全部关键帧,确认视觉连续后再生成视频。
6. 切驱动音频
用 FFmpeg 按分镜时间,为每个对口型镜头切出一段驱动音频,存到 audio/slices/<镜头编号>.wav:
- 优先从人声轨切;没有人声轨时从原曲切,并告诉用户对口型精度会低一些。
- 切的范围就是这个镜头的起止时间(含缓冲),长度符合模型限制。
- 记录每段的起始时间,第 8 步按它把视频放回时间轴。
没有驱动音频不要生成对口型镜头。用户坚持先生成时,说明口型会对不准,得到同意后再做。
7. 生成镜头视频(确认点)
- 对口型镜头: 用音频驱动的对口型模型,输入这个镜头的关键帧和驱动音频。
- 叙事镜头: 用支持多张参考图的视频模型,输入关键帧和出场元素的设定图。
- 提示词只写变化和动态;对口型镜头要写明演唱状态,按「摄像机运动 + 情绪 + 演唱状态 + 身体动作」的模板写,见 。
- 所有视频请求都写明不要背景音乐、不要字幕,避免生成多余的声音和画面文字。
- 检查每个镜头:口型是否跟得上、动作和运镜是否符合分镜、人物是否走样。不合格的只重做这个镜头;被模型拦截时,改写描述后重试。连续失败或模型不可用时,换另一个同类模型重试,并告诉用户换了哪个模型。
- 给用户看全部镜头,确认后组装。
8. 用 FFmpeg 组装
- 以原曲作为全片唯一的音轨,所有生成视频静音。
- 对口型镜头按第 6 步记录的起始时间放回时间轴,保持原速,不拉伸、不变速,否则口型会错位。
- 叙事镜头填补其余时间,需要时裁剪或轻微变速;相邻镜头的缓冲重叠按切点裁掉,每个镜头仍要包含完整的歌词单元。组装规则见 。
- 导出 MP4。抽查几个对口型镜头:嘴型和人声的偏差明显时,调整这个镜头的入点。
9. 交付
- MV 成片 MP4;做的是试片时,说明覆盖了哪一段。
- 音乐解析表(
docs/audio-map.md)和分镜表。 - 工程目录:元素图、关键帧、驱动音频、镜头视频、组装脚本,用户以后可以只替换个别镜头重新组装。
- 尚未满意或被跳过的镜头。
工程目录
mv-<歌名>/
├── audio/ 原曲、人声轨、slices/ 驱动音频
├── docs/ audio-map.md / .json、分镜表
├── elements/ 角色三视图、场景和道具设定图
├── keyframes/ 每个镜头的关键帧
├── shots/ 每个镜头的视频
└── output/ 成片、组装脚本
对口型判定与时间轴规则
用于第 3 步分镜、第 6 步切驱动音频、第 7 步生成和第 8 步组装。
什么时候做对口型镜头
只有同时满足以下两个条件,才设计成对口型镜头:
- 画面里有看得见的人物正在说话或演唱。
- 看得见的嘴必须和对应的人声精确对上。
不要默认使用「叙事表演 + 对口型演唱」的固定组合。以下情况一律设计成叙事或表演镜头,由多模态视频模型生成:
- 纯伴奏
- 舞蹈动作
- 剧情表演
- 舞台大全景
- 观众反应
- 跟着节奏的动作
- 只是因为这是 MV
- 只是因为这段有歌词
- 只是因为处在副歌或说唱段落
- 只是因为画面里出现了歌手
- 只是因为用了近景或中景
- 只是因为有表演性的动作
每个镜头的分镜里写明:它是不是对口型镜头,以及判断依据。
歌词不切断
- 每个镜头的时间范围,要让落在里面的歌词是一个完整单元。不允许一句歌词或一个短语被切到两个镜头里。
- 按逐行或逐短语的
start_ms/end_ms安排镜头时,前后各加约 1 秒缓冲:镜头可用的时间窗口从第一句歌词前 1 秒到最后一句歌词后 1 秒。这样可以吸收快节奏和紧凑的句间间隔,避免对口型和剪辑被帧级的硬切打乱。 - 缓冲和相邻镜头重叠时,在自然的歌词短语或乐句停顿处重新分割切点,或者微调镜头边界。无论怎样调整,每个镜头都必须包含完整的歌词单元。
每个镜头的分镜字段
- 场景和出场元素
- 故事、演唱、舞蹈或表演内容
- 景别、角度、运镜
- 对应的段落、歌词,以及
start_ms/end_ms - 是否对口型及判断依据
- 对口型镜头对应的驱动音频片段
驱动音频
- 分镜、关键帧和驱动音频都准备好并经用户确认之前,不生成对口型镜头。
- 缺驱动音频时,先补齐(从人声轨或原曲切出),并检查语言、内容、演唱状态、时间范围和对应的歌词单元,用户确认后再生成。
- 用户要求在没有最终驱动音频的情况下先生成时,必须明确告诉用户:「由于缺少驱动音频,现在生成将导致唇形同步精度下降。」用户明确接受风险后才继续。
关键帧的连贯
- 每个镜头生成一张关键帧。参考素材 = 这个镜头出场元素的设定图 + 同一组中前面镜头里最相似的那张关键帧。
- 批量生成时,后面的镜头参考前面已经生成的镜头,补上元素设定图本身定义不了的连贯细节,例如人物在场景中的位置、人物之间的朝向和表情。
- 检查构图、人物位置、相对朝向、表情、场景布局和视觉风格。
镜头视频的验收
- 对口型镜头: 口型、演唱状态、音频内容和时间范围一致。
- 其他镜头: 生成路径选得对,主体动作、摄像机运动、场景连贯、和音乐段落匹配,负面约束生效。
- 所选模型被拦截或会员权限不支持时,换另一个同类模型(对口型镜头换对口型模型,叙事镜头换支持多参考图的视频模型),仍用同一张关键帧和同一段驱动音频。
组装规则
- 原曲是唯一的音轨和时间轴,所有生成视频静音。
- 按时间戳和歌词把每个镜头对齐到原曲时间轴。
- 对口型镜头(不论用哪个模型生成)严格保持 1.0 倍原速,不为凑时长快进、慢放或移动时间位置,否则口型和人声会错开。
- 两个对口型镜头之间有空档、又没有现成素材时,对口型镜头保持原速不动,从已有素材中选最契合这段音乐情绪和节奏的叙事或表演镜头填补,保证画面连续。
- 组装完成后检查:画幅、音乐同步、歌词边界、口型准确、镜头连贯、色彩连贯、视觉节奏,以及画面里没有残留的水印或模型意外生成的字幕。
MV 的生成请求写法
用于第 4 步元素图、第 5 步关键帧和第 7 步镜头视频的生成请求。通用的请求结构见 Flova Skill 的「写生成请求」;本文是 MV 的专门写法,两者冲突时以本文为准,模型实际支持的参数仍以查询结果为准。
语言
用户用中文时,提示词用中文写。台词和旁白按成片的输出语言写。英文的风格锚点、模型专用短语、模板和示例保持原文。
图像提示词:通用原则
- 像导演和调色师给团队下指令:不只说画什么,还要说怎么画。
- 主体、行为、环境用连贯的自然语言写;风格、色彩、灯光、构图用简短词组写。
- 不写文学修饰:不解释人物的动机或内心,不描述画面外和看不见的东西。
电影级画面的 6 条规则
写实、动漫、3D 等所有风格都要用到,揉进一段流畅的描述里,不要写成带标签的分项:
- 专业风格术语: 用具体的导演、作品做视觉锚点,例如
Neo-Noir style, David Fincher Style, inspired by Se7en,而不是只写Neo-Noir。 - 取景: 写明电影化取景和景别,例如
Over-the-shoulder shot、Dutch angle、Close-up、Medium shot。 - 灯光: 写清主光,强调负补光,例如
Strong chiaroscuro contrast、deep facial shadows emphasizing facial structure。 - 调色: 克制的高端调色,约 90% 画面只用一种主色调,例如
deep teal-cyan shadows dominating 90%, zero warm fill、muted watercolor wash。除非用户要求,不用红蓝霓虹撞色。 - 视觉渲染: 写整体质感和细节,例如
fine rendering quality, rich and intricate details, soft-focus effect with subtle Gaussian blur。 - 情绪与潜台词: 人物写微表情,把动作定格在有张力的节拍,拒绝摆拍,例如
oppressive suffocation、predatory stillness;物体写状态,例如cold and detached atmosphere。
按需补充:对画面关键的物体写清材质,例如 worn leather with creases、thick knit wool fabric;画面里需要文字时用引号写出确切文本。
角色和元素设定图
- 全身取景: 角色设定图优先用全身,中景或全景,不用半身、上身或紧凑裁剪,否则下游镜头缺少一致性信息。
- 三视图: 正面、侧面(或四分之三侧面)、背面,头部、躯干、腿、脚和服装轮廓都要完整。特写只能作为额外的面部细节图,不能代替三视图。
- 主体与身份: 角色写年龄、体型、显著特征和声音特点;多套造型分别写清「造型 1」「造型 2」。同一角色的后续造型,以已确认的形象为参考生成。
- 特征细节: 角色写眼型、下颌线、发型发色、妆容、服装和配饰的材质、剪裁、颜色、状态;道具写形状、材质、颜色、大小、新旧和独特标记。
- 场景: 写清重要物体的位置和朝向,尤其是表演发生的区域;写出情绪基调(例如紧张、忧郁、希望、温暖、怀旧、孤独)。
关键帧
先在分镜里找到这一帧对应的时刻;写得不清楚时,在脑中模拟主体动作、镜头运动和环境变化,自己补齐。只描述那一瞬间的静态画面:
- 起始帧: 动作前的姿态和意图(重心、视线、肢体预备)、环境初始状态、摄像机初始构图和角度。
- 结束帧: 动作完成后的姿势或表情、环境变化后的状态、为下一个镜头准备的摄像机位置。
- 高光帧: 视觉或情绪冲击最强的瞬间,尽量具体地写出姿势、表情、光线和构图。
对口型镜头的关键帧要看得清脸和嘴。
视频提示词
关键帧已经给出了画面,提示词主要写变化和动态,不重复描述图里已有的静态细节。
- 锚定主体: 简短说明镜头开始时主体是谁,例如
the elderly man、the woman in sunglasses。 - 主体动态: 写运动、表情变化和相对镜头的朝向变化,例如
a character turning from a profile view to face the camera directly。主体不动时明确写the character stands perfectly still, staring forward。 - 基本结构: 主体 + 运动,背景 + 运动,摄像机 + 运动,用简单直接的短句。
- 程度副词: 总是写出程度,例如
quickly、violently、large amplitude、high frequency。 - 多个动作和多个主体: 按发生顺序写,例如
subject1 + motion1 + motion2,或subject1 + motion1, subject2 + motion2。 - 摄像机: 用自然语言写
orbit、aerial、zoom、pan、track/follow、handheld。一次生成里有切镜时,用cut to或shot cut说明,并描述切镜后的新画面。摄像机运动时写non-fixed camera,静止时必须写static camera或fixed shot。
对口型镜头
- 必须写明人物由音频驱动的状态,例如
singing、speaking、rapping、crying while talking。 - 推荐模板:摄像机运动 + 演唱者的情绪 + 演唱状态 + 具体的身体动作 +(可选)背景事件。
- 示例:
The camera follows as a man turns to face the lens and walks forward while singing with an intoxicated, soulful expression. He first touches his collar with both hands, then spreads his arms wide and tilts his head back, appearing completely immersed. Light and shadow in the background pulse with the rhythm.
必须写上的负面约束
- 有独立的旁白音轨时,不在视频提示词里写旁白文本。
- 每个镜头都写
no music,音乐只用原曲。 - 每个镜头都写
no subtitles。
被模型拦截时
生成被拦截或中断时,按以下顺序检查。能改写的就自然地改写描述再试,不要单独写一行「禁止……」:
- 真实名人或公众人物: 换成
virtual [外貌描述] actor/character。 - 受版权保护的角色或 IP(例如迪士尼、漫威、动漫、游戏角色): 保留颜色、服装风格、姿势等视觉特征,去掉名称和标志,写成
original virtual character + [配色] + [服装或装备风格] + [动作或能力特征] + no copyright identifiers。 - 知名品牌的 Logo 或名称: 写成
original [类型]、[颜色 + 形状 + 材质]、no brand identifiers。 - 血腥、暴力或打斗特写: 换成
tense atmosphere, no gore, no violent close-ups。 - 裸露或性暗示: 换成
simple clothing, natural movement, no nudity。 - 强调身体曲线或部位: 换成
balanced figure, natural posture,不描述具体部位。 - 恐怖、鬼怪或超自然: 换成
suspenseful mood, no horror elements。
以下内容不尝试改写,直接告诉用户无法生成:国家领导人、政党或军事、敏感历史事件;分裂主义、极端主义、仇恨或歧视;毒品、赌博、诈骗、非法金融;假新闻、冒充官方媒体;儿童不宜内容。
分镜与素材交接规则
需要新分镜时,由宿主 Agent 按本流程直接设计;已有清楚的镜头表或剪辑意见时只补缺口,不强制重做。每个 S01 镜头/片段写明:对应脚本、画面与信息目标、时长/时间段、主体动作、运镜或元素运动、准确文字与声音、衔接及制作方式。用 E01 关联目标元素、用户素材和实际资源,原片 REF-E01 单列;未取得的素材标待制作,不编造资源 ID。检查跨镜头外观、空间、动作和声音连续性;取得真实配音后再校时。营销内容按实际作用标 hook(吸引注意)、turn(需要时承接)、proof(有依据的演示或细节)、cta(明确下一步),说明每拍为观众增加什么;讲解、叙事等沿用本流程各自结构。表达不明确时找真实参考,记来源及借鉴/替换的部分。以上规则可直接执行,不需要用户另找 Storyboard 文件。

