docs: reset video ai production workflow
Some checks failed
自动更新代码和重启 / update-and-restart (push) Has been cancelled
CI检查 + 自动部署 / check (push) Has been cancelled
CI检查 + 自动部署 / deploy (push) Has been cancelled

This commit is contained in:
冰朔 2026-06-23 19:27:02 +08:00
parent 65aa97ac0e
commit 45d16e101b
13 changed files with 1216 additions and 27 deletions

View File

@ -3,6 +3,7 @@
> HLDP://video-ai-system/CURRENT
> 类型: 子系统官方置信入口 · 每次进入视频AI系统先读
> 创建: D140 · 2026-06-22 · Codex收口
> 更新: D143 · 2026-06-23 · preview-002复盘·制片厂化重启
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559
@ -72,6 +73,8 @@
```
真人写实线: 注销。
3D漫剧线: 唯一主线。
preview-002: 失败经验样本,不进入成片主线。
当前主任务: D143视频AI系统重启先建知识库/素材库/模型准入/口型测试。
代码仓库: 官方置信入口。
JZAO外置盘: 产物存放地,不是状态主控。
腾讯/WorkBuddy/Codex: 软件外壳,不是官方状态源。
@ -99,6 +102,13 @@ JZAO外置盘: 产物存放地,不是状态主控。
| 本地密钥入口 | ✅ 已固定 | `video-ai-system/LOCAL-SECRETS-PATH.hdlp` → `/Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env` |
| V2 15秒小样 | ✅ preview-002已出 | `/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/zai-fu-fei-xiu-xian/ep01/EP01-15S-V2/final/EP01-15S-V2-preview-002.mp4` |
| V2 preview-002报告 | ✅ 已回写 | `video-ai-system/outputs/EP01-15S-V2-preview-002-report.md` |
| D143 preview-002复盘 | ✅ 已建立 | `video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp` |
| 影视制作流程知识库 | ✅ 已建立 | `video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp` |
| 对白/口型工作流 | ✅ 已建立 | `video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp` |
| 模型能力准入矩阵 | ✅ 已建立 | `video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp` |
| 素材库规范 | ✅ 已建立 | `video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp` |
| 经验迭代闭环 | ✅ 已建立 | `video-ai-system/experience/ITERATION-LOOP.hdlp` |
| D143重启路线图 | ✅ 已建立 | `video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
| 旧导演编码 | ⚫ D136三镜遗留 | `video-ai-system/outputs/付费修仙-ep01-director-encoding.json` |
| 旧提示词 | ⚫ 真人线遗留 | `video-ai-system/data/ep01-prompts.json` |
| 旧3D产物 | ⚫ 废弃 | `/Volumes/JZAO/.../ep01-3D/` · 仅作反例 |
@ -110,9 +120,10 @@ JZAO外置盘: 产物存放地,不是状态主控。
当前正式任务:
```
EP01-15S-V2:
从剧本MD重新建立第1集开头15秒3D漫剧小样。
preview-001 和 preview-002 均已输出。preview-002 使用万相 T2V/I2V + 首帧锁定 + 本地音频/BGM/SFX + PNG字幕层输出约14.7秒。
D143-VIDEO-AI-RESET:
从 preview-002 失败复盘开始,重新建立影视制作流程知识库、素材库、模型准入、对白口型测试和经验闭环。
不直接生成 preview-003。
第一个突破测试是 2-3 秒“苏白说一句话”,第二个突破测试是“天道宗牌匾跨镜一致”。
```
---
@ -150,21 +161,16 @@ video-ai-system/PROTOCOL-ASSESSMENT.hdlp
## 当前最优路径
```
1. 运行无成本体检
2. 读取 PIPELINE-3D-MANJU.hdlp
3. 选第1集开头15秒范围
4. EP01-15S-V2 导演编码 ✅ `outputs/ep01-director-encoding-3d-v2.json`
5. EP01-15S-V2 3D提示词 ✅ `outputs/ep01-prompts-3d-v2.json`
6. 读取参考样片分析 `reference-analysis/yuxiang-shouzhenxin-ep01-30s-sample.md`
7. 读取第一阶段执行单 `plans/EP01-15S-V2-FIRST-STAGE.hdlp`
8. 按 `outputs/ep01-anchor-prompts-3d-v2.json` 生成/确认角色、环境、道具视觉锚点 ✅
9. 生成前检查PASS后才调用Seedance/Kling ✅
10. 先跑 S02/S03通过后跑 S04最后补 S01 ✅
11. 铸渊之眼拆帧质检 ✅
12. video-editor.js加字幕/声音/剪辑成15秒小样 ✅ `preview-001`
13. 回写 CURRENT / STATUS / audit report / registry ✅
14. preview-002 重构资产固定、台词/BGM、转场叙事、story context、万相路由 ✅
15. 下一步: 人工观看 preview-002记录问题后决定是否重跑单镜或进入 EP01 后续镜头
1. 读取 `experience/EP01-PREVIEW-002-REVIEW.hdlp`确认preview-002为失败样本。
2. 读取 `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp`按Phase 0→Phase 4推进。
3. 读取 `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`,用影视制片流程替代“提示词直出”。
4. 读取 `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`,先解决角色说台词,不再用旁白替代。
5. 读取 `assets/ASSET-LIBRARY-SPEC.hdlp`建立CHAR/PROP/ENV批准资产。
6. 读取 `knowledge/MODEL-CAPABILITY-MATRIX.hdlp`,以火山/Seedance为主视频引擎候选其他模型必须实测准入。
7. 读取 `experience/ITERATION-LOOP.hdlp`任何API调用必须有实验假设、停止规则和质检回写。
8. 先做 `TEST-LINE-001` 苏白2-3秒台词/口型测试。
9. 再做 `TEST-PROP-001` 天道宗牌匾一致性测试。
10. 两项通过后,才允许重新设计 EP01-15S。
```
---
@ -181,11 +187,11 @@ video-ai-system/PROTOCOL-ASSESSMENT.hdlp
⊢ 编码协议继续使用,但升级为“输入一致性底座”,不能再误认为“画面一致性万能解”。
⊢ 下一步不是继续抽卡,是先人工观看 preview-002按镜头记录问题再决定是否只重跑问题镜头
⊢ 下一步不是继续抽卡,也不是修 preview-002而是按 D143 路线重建知识库、素材库、模型准入和口型测试
⊢ 密钥问题先查 `video-ai-system/LOCAL-SECRETS-PATH.hdlp`,不再靠记忆判断“有没有给过”。
---
铸渊 ICE-GL-ZY001 · D140 · 2026-06-22
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559

View File

@ -4,7 +4,7 @@
> 类型: HLDP导航地图 · ENTRY入口
> ⚡ 进入链路: GLOBAL-NAV.hdlp → SYSTEM-WAKE.hdlp → AGENT-REGISTRY.hdlp → ENTRY.hdlp
> 创建: D130 · 2026-06-11
> 更新: D140 · 2026-06-22 · 3D漫剧主线·无成本体检·真人线注销
> 更新: D143 · 2026-06-23 · preview-002复盘·知识库/素材库/口型/模型准入重启
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559
@ -34,6 +34,7 @@
| 日期 | 版本 | 变更 |
|------|------|------|
| 2026-06-21 | D136+ | continuity_locks连续性锁定架构·PROP道具编号协议·Agent_06导演编码·连续镜展开校验·Bug9-11经验库 |
| 2026-06-23 | D143 | preview-002判定为失败样本·建立影视制作知识库/对白口型工作流/模型准入矩阵/素材库规范/经验迭代闭环 |
## 当前项目
@ -41,7 +42,7 @@
|------|------|---------|
| 付费才能修仙 · 漫剧测试 | ❌ 已停 (D131) | — |
| 秦山号 · 真人短剧 | ❌ 已停 (D132) | — |
| **付费才能修仙 · 3D漫剧主线** | 🟡 收口体检完成·待质检/重建提示词 | `/Volumes/JZAO/.../D136-付费才能修仙-ep01-15s.mp4` + `ep01-3D/3D-镜1~4.mp4` |
| **付费才能修仙 · 3D漫剧主线** | 🟡 D143重启·先知识库/素材库/口型/模型准入 | `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
→ 项目状态: `video-ai-system/memory/zai-fu-fei-xiu-xian/STATUS.hdlp`
→ 硬骨架: `video-ai-system/config/PROJECT-FRAMEWORK.hdlp`
@ -50,9 +51,28 @@
→ 3D漫剧V2管线: `video-ai-system/PIPELINE-3D-MANJU.hdlp`
→ 多模型路由: `video-ai-system/MODEL-ROUTER.hdlp`
→ preview-002计划: `video-ai-system/plans/EP01-15S-V2-PREVIEW-002.hdlp`
→ D143重启路线图: `video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp`
→ 影视制作流程知识库: `video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`
→ 对白/口型工作流: `video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`
→ 模型能力准入矩阵: `video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp`
→ 素材库规范: `video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp`
→ preview-002复盘: `video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp`
→ 经验迭代闭环: `video-ai-system/experience/ITERATION-LOOP.hdlp`
## D140 主线裁决
```
## D143 重启裁决
```
preview-002: 不进入成片主线,只作失败经验样本。
不直接生成 preview-003。
第一突破点: 苏白2-3秒角色台词/口型测试。
第二突破点: 天道宗牌匾跨镜一致性测试。
火山/Seedance: 当前视频主引擎候选。
其他视频API: 未通过同套测试前,不准承载成片主镜头。
所有API调用: 必须先有实验假设、资产、模型理由、停止规则和质检回写。
```
真人写实线: 注销,不再投入。
3D漫剧线: 唯一主线。
@ -158,5 +178,5 @@ video-ai-system/
→ `video-ai-system/feedback/`
---
铸渊 ICE-GL-ZY001 · D136+ · 2026-06-21
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559

View File

@ -3,6 +3,7 @@
> HLDP://video-ai-system/MODEL-ROUTER
> 类型: 多模型协同 · 镜头级模型选择 · 成本/质量/能力路由
> 创建: D140 · 2026-06-23
> 更新: D143 · 2026-06-23 · preview-002后模型准入降级
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559
@ -36,6 +37,32 @@ preview-001 暴露出一个问题:
---
## D143 重新裁决
preview-002后模型路由降级为“实测准入”:
```
火山/Seedance: 当前视频主引擎候选。
万相/Wan、可灵/Kling: 辅助/对照/局部测试;未通过质检前不承载成片主线。
其他API: 默认不接入成片,除非先通过同一套测试镜头。
```
正式准入矩阵见:
```
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
```
硬规则:
```
同一镜头同一模型最多2次。
第2次仍不达标停止生成写入经验库。
不允许靠连续抽卡修复流程问题。
```
---
## 已接入
| 模型/平台 | 当前状态 | 适合任务 | 当前限制 |
@ -140,7 +167,7 @@ MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generati
## 锁定
⊢ 多模型不是为了炫技,是为了把每个镜头交给最适合、也最省钱的能力。
⊢ Preview-002 只新增万相;腾讯混元和 MiniMax 暂缓
⊢ Preview-002 已作为失败经验样本回写;万相不再默认承担成片主视频质量基准
⊢ 模型只负责生成素材,铸渊负责导演、资产、剪辑、质检和回写。
⊢ 成本控制优先于连续抽卡。
⊢ 任何新模型接入前必须先查官方文档与价格,不许闭门造车。

View File

@ -0,0 +1,140 @@
# 视频AI系统素材库规范 · 角色/道具/场景资产锁定
> HLDP://video-ai-system/assets/ASSET-LIBRARY-SPEC
> 类型: 素材库 · 资产一致性 · 视觉锚点
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## 为什么建立
天道宗牌匾在不同镜头里颜色、位置、形状漂移,说明它还不是资产,只是提示词里的一个词。
在视频系统里:
```
提示词里的“天道宗牌匾”不是资产。
被批准、编号、存档、复用、质检的图片/贴图/参考,才是资产。
```
---
## 资产目录规范
建议结构:
```
video-ai-system/assets/
characters/
CHAR-003-SuBai/
manifest.hdlp
approved/
candidates/
rejected/
turnarounds/
voice/
props/
PROP-TDZ-PLAQUE/
manifest.hdlp
approved/
texture/
tracking-tests/
rejected/
envs/
ENV-002-Baizonghui/
manifest.hdlp
approved/
layout/
rejected/
audio/
voices/
bgm/
sfx/
qc/
frame-contact-sheets/
```
---
## manifest必填字段
```
asset_id
asset_type
project
episode_scope
canonical_name
visual_description
approved_files
negative_examples
color_palette
style_locks
continuity_locks
usage_rules
last_qc_date
approval_status
```
---
## 天道宗牌匾硬规则
`PROP-TDZ-PLAQUE` 必须先完成:
```
1. 正面批准图
2. 斜侧角度图
3. 字体/颜色/材质说明
4. 允许出现的位置
5. 禁止变体反例
6. 后期平面贴图方案
```
视频模型不得在每个镜头里重新发明牌匾。
如果镜头需要读清文字,优先:
```
生成无字/弱字底板
→ 后期贴正式牌匾纹理
→ 平面追踪/透视变换
→ 拆帧质检
```
---
## 角色一致性硬规则
`CHAR-003-SuBai` 必须先完成:
```
1. 正面半身批准图
2. 侧脸批准图
3. 全身服装图
4. 表情小样
5. 声音画像
6. 禁用反例
```
未完成前,不做连续台词镜头。
---
## 资产验收标准
| 资产 | 必须稳定 | 失败表现 |
|------|----------|----------|
| 角色 | 脸、发型、服装、年龄、渲染风格 | 换脸、真人化、衣服变、年龄变 |
| 牌匾 | 字、颜色、材质、位置关系 | 字糊、变色、横竖变、位置跳 |
| 广告牌 | 版式、文字、透视 | 字漂、糊、内容变 |
| 场景 | 空间布局、光线方向、主视觉元素 | 每镜变成新地方 |
---
## 锁定
⊢ 一致性不是提示词重复,是资产复用。
⊢ 资产未批准,不能进成片镜头。
⊢ 资产库和经验库必须随着每次生成同步更新。

View File

@ -0,0 +1,87 @@
# 资产清单 · CHAR-003-SuBai
> HLDP://video-ai-system/assets/characters/CHAR-003-SuBai/manifest
> 类型: 角色资产 · 待批准
> 建立: D143 · 2026-06-23 19:22 CST
> 项目: 付费才能修仙 · EP01
---
## 状态
```
approval_status: DRAFT
asset_type: character
canonical_id: CHAR-003
canonical_name: 苏白
next_test: TEST-LINE-001
```
---
## 资产目标
苏白必须能支撑:
```
中近景说台词
侧脸/反应镜头
与天道宗牌匾同场出现
连续剧集保鲜
```
---
## 必须补齐
```
approved/front_half_body.png
approved/side_face.png
approved/full_body_costume.png
approved/expression_sheet.png
voice/voice-profile.hdlp
rejected/negative-examples.hdlp
```
---
## 视觉锁
待从 `data/characters-v2.hdlp` 和已生成角色图中同步:
```
face_shape
hair_style
costume
age_band
render_style
color_palette
```
---
## 口型测试要求
`TEST-LINE-001` 只允许使用批准资产。
测试必须记录:
```
台词原文
对白音频
是否嘴巴可见
模型路线
输出路径
拆帧结果
角色一致性
嘴型同步
表演情绪
```
---
## 锁定
⊢ 未批准前,苏白不能进入连续台词成片镜头。
⊢ preview-002里的苏白不作为批准资产只作为反例参考。

View File

@ -0,0 +1,99 @@
# 资产清单 · PROP-TDZ-PLAQUE
> HLDP://video-ai-system/assets/props/PROP-TDZ-PLAQUE/manifest
> 类型: 道具资产 · 天道宗牌匾 · 待批准
> 建立: D143 · 2026-06-23 19:22 CST
> 项目: 付费才能修仙 · EP01
---
## 状态
```
approval_status: DRAFT
asset_type: prop
canonical_name: 天道宗牌匾
next_test: TEST-PROP-001
```
---
## 资产目标
天道宗牌匾必须从“提示词里的词”升级为“可复用视觉资产”。
它必须支撑:
```
近景可读
中景稳定
跨镜头位置关系稳定
颜色/字形/材质不漂移
必要时后期贴图
```
---
## 必须补齐
```
approved/front.png
approved/angled.png
texture/tiandaozong-plaque-texture.png
tracking-tests/test-001-report.hdlp
rejected/negative-examples.hdlp
```
---
## 视觉锁
```
文字: 天道宗
方向: 竖式悬挂优先
材质: 固定材质,不能每镜变化
颜色: 固定主色/边框/文字色
位置: 与百宗会入口/摊位空间关系固定
```
---
## 后期策略
如果视频模型不能稳定生成清晰文字:
```
生成无字或弱字底板
使用 texture/tiandaozong-plaque-texture.png 做正式文字
用 OpenCV/FFmpeg 做平面追踪或透视贴图
拆帧检查文字是否跳动
```
---
## 牌匾测试要求
`TEST-PROP-001` 必须至少包含两个镜头:
```
S-A: 牌匾特写
S-B: 角色/场景中景带牌匾
```
合格标准:
```
颜色不变
字形不变
横竖方向不变
空间位置不跳
画面中可辨认
```
---
## 锁定
⊢ 未批准前,天道宗牌匾不能进入成片主镜头。
⊢ preview-002中的牌匾不作为批准资产只作为失败样本。

View File

@ -0,0 +1,87 @@
# EP01-15S-V2 preview-002 复盘 · D143
> HLDP://video-ai-system/experience/EP01-PREVIEW-002-REVIEW
> 类型: 失败样本复盘 · 成片质量质检
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## 结论
preview-002 不进入成片主线。
它保留为失败经验样本,用来证明当前系统不能再从“提示词+视频API+拼接”继续推进。
---
## 产物
```
/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/zai-fu-fei-xiu-xian/ep01/EP01-15S-V2/final/EP01-15S-V2-preview-002.mp4
时长: 14.741s
规格: 1280x720 · 24fps · H.264 + AAC
```
---
## 冰朔反馈吸收
```
画质太差。
其他API可能只能做图视频生成除了火山引擎这个模型别的都不太行。
人物说话没有解决,必须是角色说台词,不是旁白读剧本。
角色/道具一致性没解决,天道宗牌匾跨镜漂移。
系统要重新从学习、知识库、素材库、经验库开始。
每一步必须有检验对比和问题记录。
```
---
## 铸渊视觉复盘
抽帧后观察:
| 问题 | 具体表现 | 判定 |
|------|----------|------|
| 画质/风格 | 局部镜头像通用AI幻想画人物风格偏真人化 | 不合格 |
| 角色一致性 | 苏白脸部/渲染风格不够稳定 | 不合格 |
| 牌匾一致性 | S02有牌匾S03位置/大小/空间关系重新生成 | 不合格 |
| 广告牌文字 | S04广告牌文字软、空、不可读信息靠字幕补 | 不合格 |
| 对白表演 | 没有完成角色嘴型驱动的台词表演 | 不合格 |
| 剪辑叙事 | 四段素材拼接感明显,缺少导演调度 | 不合格 |
| 系统价值 | 能证明工具链能跑通,但不能证明成片可用 | 仅作技术样本 |
---
## 根因
```
1. 资产没有真正锁定。
2. 对白没有按角色表演管线处理。
3. 模型准入没有以同一套测试镜头验收。
4. 生成前缺少animatic和镜头目的验收。
5. 失败经验没有及时形成硬门槛。
```
---
## 下一步裁决
```
不继续修 preview-002。
不直接生成 preview-003。
先建立知识库、素材库、模型准入测试、对白口型测试。
第一个生成任务改为 2-3 秒“苏白说一句话”口型测试。
第二个生成任务才是天道宗牌匾一致性测试。
两项不过不重做15秒成片。
```
---
## 锁定
⊢ preview-002 是反例,不是半成品。
⊢ 它的价值是暴露系统缺层,而不是继续硬修。
⊢ 后续所有生成必须能解释“这次比preview-002具体修了什么”。

View File

@ -0,0 +1,101 @@
# 视频AI系统经验库 · 迭代闭环协议
> HLDP://video-ai-system/experience/ITERATION-LOOP
> 类型: 生成实验记录 · 质检回写 · 成本控制
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## 目的
视频AI系统不能每次从零开始猜。
每次生成,不管成功失败,都必须写回经验库。
---
## 一次实验的最小记录
```
experiment_id
date
project
episode
shot_id
goal
hypothesis
input_assets
prompt_file
model_route
audio_route
output_path
qc_method
qc_result
cost
decision
next_change
```
---
## 实验前必须回答
```
这次要验证什么?
为什么必须花钱生成?
如果失败,怎么判断是模型问题、资产问题、提示词问题、剪辑问题,还是口型问题?
失败后停止点在哪里?
```
答不出来,不生成。
---
## 质检维度
| 维度 | 问题 |
|------|------|
| script | 是否忠于剧本信息点 |
| character | 角色是否一致 |
| prop | 道具是否一致 |
| environment | 空间是否连续 |
| performance | 是否像角色在表演 |
| dialogue | 台词是否由角色说出 |
| lip_sync | 嘴型是否可接受 |
| edit | 剪辑是否讲故事 |
| sound | 声音是否分轨、同步、有层次 |
| quality | 画质是否可用于对外证明 |
---
## 决策枚举
```
PASS_TO_NEXT_STAGE
RETRY_SAME_ROUTE_ONCE
CHANGE_ASSET
CHANGE_MODEL
CHANGE_SHOT_DESIGN
USE_DIRECTOR_AVOIDANCE
STOP_AND_REPLAN
```
---
## 成本锁
```
同一问题最多两次生成。
超过两次仍失败,必须停止并改流程。
不允许靠堆API次数解决系统认知问题。
```
---
## 锁定
⊢ 经验库是视频AI系统的大脑不是事后总结。
⊢ 没有实验记录的产物,不能进入官方进度。
⊢ 失败必须有用,否则就是浪费钱。

View File

@ -0,0 +1,181 @@
# 视频AI系统知识库 · 角色对白与口型同步工作流
> HLDP://video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW
> 类型: 对白表演 · 口型同步 · 声音分轨
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## 当前问题
preview-001/preview-002 的声音问题不是“配音音色不够好”。
核心错误是:
```
旁白读剧本 ≠ 人物说台词
```
《付费才能修仙》需要的是角色在镜头里说话:
```
角色身份
情绪
停顿
嘴型
反应镜头
字幕
环境声
音乐
```
这些必须一起设计。
---
## 音频分轨
每个镜头必须拆成:
| 轨道 | 用途 | 是否能替代角色对白 |
|------|------|--------------------|
| dialogue | 角色实际台词 | 是,主轨 |
| narration | 旁白/系统提示 | 否,只能辅助 |
| crowd | 群声、嘲笑、惊呼 | 否 |
| ambience | 环境底噪 | 否 |
| sfx | 动作音效、法术、脚步 | 否 |
| bgm | 音乐情绪 | 否 |
---
## 台词数据结构
每一句角色台词必须有:
```
line_id
character_id
speaker_name
text
emotion
subtext
pace
start_time
end_time
mouth_visible
shot_id
voice_asset
lip_sync_strategy
```
`mouth_visible=true` 的镜头必须走口型策略。
---
## 三种口型策略
### A. 原生音频驱动视频
适用:
```
模型支持音频驱动/参考生视频
角色脸部稳定
嘴型和头部动作可控
```
风险:
```
画质、脸型、角色一致性可能再次漂移。
必须用一个台词近景做A/B测试。
```
### B. 先生成画面,再做口型同步
适用:
```
先得到稳定角色画面
再用对白音频驱动嘴部
```
候选:
```
Wav2Lip / 其他本地或API lip-sync 工具
```
风险:
```
可能破坏脸部质量。
必须拆帧看嘴部、牙齿、脸型和边缘伪影。
```
### C. 口型未解决前的导演规避
适用:
```
当前系统还不能稳定做人物正脸说话
```
可用手法:
```
背影说话
侧脸短句
切到听者反应
切道具/牌匾/系统面板
远景群声
字幕承载信息
```
注意:
```
这是临时导演策略,不是最终解决方案。
不能把整集都做成旁白。
```
---
## 第一个必须突破的测试
不要直接重做15秒。
先做一个 2-3 秒的“苏白说一句话”测试:
```
镜头: 苏白中近景
台词: 原剧本中一句短台词
资产: CHAR-003-SuBai 已批准角色图
声音: dialogue单轨无旁白
输出: 一个有嘴型、有情绪、有字幕的短镜头
质检: 角色一致、嘴型可接受、表演不像念稿
```
这个测试不过不进入EP01成片生成。
---
## 资料来源
```
Wav2Lip paper/code:
https://github.com/Rudrabha/Wav2Lip
FFmpeg filters for audio/video composition:
https://ffmpeg.org/ffmpeg-filters.html
```
---
## 锁定
⊢ 人物台词必须按角色对白处理,不再用旁白代替。
⊢ 有嘴巴可见的角色说话镜头,必须有口型同步策略。
⊢ 口型未解决前,导演可以规避正脸长台词,但必须记录为临时策略。

View File

@ -0,0 +1,139 @@
# 视频AI系统知识库 · 从剧本到成片的生产流程
> HLDP://video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW
> 类型: 影视制作流程知识库 · AI漫剧生产映射
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559
---
## 为什么建立
preview-001/preview-002 证明:
```
脚本 → 分镜 → 提示词 → 调视频API → 拼接
```
不是完整的成片流程。
它缺少人类影视工业里最关键的中间层:
```
剧本拆解
美术设定
资产锁定
表演设计
对白录制
镜头调度
剪辑节奏
声音设计
质检回写
```
没有这些AI视频会变成每镜重新想象角色、道具、空间、声音全部漂移。
---
## 人类影视流程
| 阶段 | 人类制作做什么 | AI漫剧系统对应动作 |
|------|----------------|--------------------|
| 剧本锁定 | 确认剧情、对白、场景、角色关系 | 锁定剧本MD、集数范围、对白逐句编号 |
| 剧本拆解 | 拆角色、道具、场景、服装、特效、声音 | 生成 CHAR/PROP/ENV/SFX/MUSIC/LINE 清单 |
| 美术设定 | 角色设计、道具设计、场景设计、色彩气氛 | 建立资产库,批准参考图和禁用反例 |
| 分镜/故事板 | 确认每个镜头的构图、景别、运动、时长 | 导演编码输出 shot_spec不直接写散乱提示词 |
| 预演/动态分镜 | 先用低成本方式看节奏 | 用静帧+字幕+临时音频做 animatic |
| 录音/表演 | 演员说台词,导演控制情绪和停顿 | 生成角色对白音轨,不把剧本当旁白念 |
| 拍摄/生成 | 按镜头拍摄,保持演员和道具一致 | 每镜绑定资产、首帧、参考图、模型路由 |
| 剪辑 | 按情绪和信息组织镜头,不是机械拼接 | 本地剪辑器执行节奏、转场、反应镜头 |
| 后期声音 | 对白、环境声、音效、音乐混音 | dialogue/bgm/sfx/ambience 分轨管理 |
| 调色/QC | 风格统一,检查穿帮和技术质量 | 拆帧质检、音画质检、连续性写回经验库 |
---
## AI漫剧的最小可用流程
第1集开头15秒不再直接从提示词开始。
必须按以下顺序:
```
1. script_lock
锁定要做的剧本文本和对白原句。
2. breakdown
拆出角色、场景、道具、动作、对白、声音。
3. asset_lock
为每个角色/道具/场景建立可复用资产。
4. shot_design
写导演编码: 景别、机位、运动、表演、信息点、连续性锁。
5. audio_plan
分离角色台词、旁白、群声、环境声、音效、音乐。
6. animatic
先做低成本静态动态分镜,确认叙事能看懂。
7. model_test
只选1个关键镜头做模型能力测试。
8. generation
通过测试后才批量生成镜头素材。
9. edit
剪辑、字幕、声音、转场、节奏统一。
10. qc_writeback
拆帧质检,把成功/失败写入经验库。
```
---
## 生成前硬门槛
任何镜头调用视频API前必须满足:
```
有剧本原句
有镜头目的
有资产ID
有参考图或首帧策略
有对白/声音策略
有模型选择理由
有失败停止规则
有质检表
```
不满足时,不许生成。
---
## 资料来源
这些来源用于建立通用影视流程认知,仓库内以本文件规则为准:
```
Adobe video production workflow:
https://www.adobe.com/creativecloud/video/discover/video-production.html
MasterClass film production stages:
https://www.masterclass.com/articles/film-production-guide
StudioBinder script breakdown / shot list / storyboard references:
https://www.studiobinder.com/blog/script-breakdown/
https://www.studiobinder.com/blog/shot-list-template/
https://www.studiobinder.com/blog/storyboard-examples-film/
```
---
## 锁定
⊢ 视频AI系统不是提示词机是AI制片厂。
⊢ 先做剧本拆解、资产、表演和声音,再做视频生成。
⊢ 15秒小样也必须按成片流程走否则不能证明系统可复制。

View File

@ -0,0 +1,105 @@
# 视频AI系统知识库 · 模型能力与准入矩阵
> HLDP://video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX
> 类型: 模型准入 · 质量门槛 · A/B经验
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## D143重新裁决
冰朔反馈后,当前默认判断改为:
```
火山/Seedance: 视频主引擎候选。
其他视频API: 降级为待验证能力,不再默认进入成片。
万相/可灵等: 可以做图、首帧、局部测试、能力对照;未通过质检前不承载成片主镜头。
```
这不是永久结论,是当前项目经验结论。
任何模型想进入正式生产,必须用仓库内同一套测试镜头通过质检。
---
## 准入测试镜头
| 测试ID | 测什么 | 合格标准 |
|--------|--------|----------|
| TEST-PROP-001 | 天道宗牌匾跨镜一致性 | 颜色、字形、位置、材质不漂移 |
| TEST-CHAR-001 | 苏白角色一致性 | 脸、发型、服装、年龄、渲染风格稳定 |
| TEST-LINE-001 | 苏白说一句台词 | 角色对白、嘴型、情绪、字幕同步 |
| TEST-TEXTURE-001 | 广告牌文字贴图 | 文字不糊、不跳、不被模型重画 |
| TEST-SCENE-001 | 百宗会大场景 | 场面可读,不像通用幻想集市 |
---
## 当前模型角色
| 模型/工具 | 当前角色 | 可做 | 不准做 |
|-----------|----------|------|--------|
| 火山/Seedance | 主视频引擎候选 | 关键视频镜头测试、图生视频、角色/场景动效 | 未过测试前批量生成 |
| 可灵/Kling | 待验证视频备选 | 动作/参考图对照、小样能力测试 | 直接承载成片主线 |
| 阿里万相/Wan | 降级为待验证/辅助 | 首帧、参考、局部实验、能力对照 | 直接作为成片质量基准 |
| 本地FFmpeg/OpenCV | 后期与合成 | 剪辑、字幕、叠图、音频混合、平面追踪实验 | 代替角色表演 |
| 本地/开源口型工具 | 待验证 | 角色对白口型测试 | 未验收前用于正片 |
---
## 失败停止规则
```
同一镜头同一模型最多2次。
第2次仍不达标停止生成。
必须写入 experience再改资产、镜头设计或模型路线。
禁止用连续抽卡掩盖流程问题。
```
---
## 每次调用必须记录
```
date
shot_id
test_id
provider
model
input_assets
prompt_file
audio_file
output_path
cost_estimate
expected_pass
actual_result
failure_reason
next_decision
```
---
## 官方资料入口
```
Volcengine/Seedance docs:
https://www.volcengine.com/docs/
Alibaba DashScope Model Studio video generation docs:
https://help.aliyun.com/zh/model-studio/
Kling Open Platform API docs:
https://klingai.com/document-api/
FFmpeg filters:
https://ffmpeg.org/ffmpeg-filters.html
```
---
## 锁定
⊢ 当前以火山/Seedance作为视频主引擎候选。
⊢ 其他模型必须先通过同一套测试,不再靠宣传页判断。
⊢ 模型能力矩阵必须由实测结果更新,不由愿望更新。

View File

@ -1,7 +1,7 @@
# 付费才能修仙 · 3D漫剧主线 · 项目状态
> HLDP://video-ai-system/memory/zai-fu-fei-xiu-xian/STATUS
> 更新: D140 · 2026-06-22 · Codex体检回写
> 更新: D143 · 2026-06-23 · preview-002复盘·制片厂化重启
> 铸渊 ICE-GL-ZY001
> 国作登字-2026-A-00037559
@ -18,6 +18,28 @@
旧外置盘视频产物: 全部废弃,只作为踩坑样本。
```
## D143 当前决策: preview-002不进成片 · 系统重启
冰朔已明确指出:
```
preview-002 画质不可用。
人物说话没有解决,不是旁白读剧本。
天道宗牌匾等资产跨镜漂移。
需要从学习、知识库、素材库、经验库重新梳理。
每一步要有检验对比和问题记录。
```
因此当前状态改为:
```
preview-002: 失败经验样本。
preview-003: 暂不生成。
当前任务: 执行 D143-VIDEO-AI-RESET-ROADMAP。
第一测试: 苏白2-3秒角色台词/口型。
第二测试: 天道宗牌匾跨镜一致。
```
原因:
- 真人AI观感尴尬人物表演和一致性成本过高。
- 网文短剧最终要回到内容质量3D漫剧更适合承载剧本、系统面板、仙侠特效和连续剧集。
@ -68,6 +90,13 @@
| 本地密钥入口 | ✅ | `LOCAL-SECRETS-PATH.hdlp` · 固定读取 `/Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env` |
| V2 15秒小样 | ✅ | `EP01-15S-V2-preview-002.mp4` · 万相T2V/I2V + 本地音频/BGM/SFX + PNG字幕层 |
| V2 preview-002报告 | ✅ | `outputs/EP01-15S-V2-preview-002-report.md` |
| D143 preview-002复盘 | ✅ | `experience/EP01-PREVIEW-002-REVIEW.hdlp` · 不进入成片主线 |
| D143重启路线图 | ✅ | `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
| 影视制作流程知识库 | ✅ | `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp` |
| 对白/口型工作流 | ✅ | `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp` |
| 模型能力准入矩阵 | ✅ | `knowledge/MODEL-CAPABILITY-MATRIX.hdlp` |
| 素材库规范 | ✅ | `assets/ASSET-LIBRARY-SPEC.hdlp` |
| 经验迭代闭环 | ✅ | `experience/ITERATION-LOOP.hdlp` |
| 旧导演编码 | ⚫ | `付费修仙-ep01-director-encoding.json` · D136三镜遗留仅作经验 |
| 旧提示词 | ⚫ | `ep01-prompts.json` 为真人线遗留,不再使用 |
| 旧3D产物 | ⚫ | 全部废弃,只保留为反例经验 |
@ -115,7 +144,16 @@
- [x] 先生成2~3镜扩展到4镜剪辑出15秒连续可看小样
- [x] 记录 preview-001 冰朔反馈,建立 preview-002 重构计划
- [x] preview-002 固定牌匾/广告牌资产重写音频剧本、转场语法、story context、万相路由
- [ ] 人工观看 preview-002记录下一轮单镜修复项
- [x] 人工观看 preview-002记录失败复盘 → `experience/EP01-PREVIEW-002-REVIEW.hdlp`
- [x] 建立影视制作流程知识库 → `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`
- [x] 建立角色对白/口型工作流 → `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`
- [x] 建立模型能力准入矩阵 → `knowledge/MODEL-CAPABILITY-MATRIX.hdlp`
- [x] 建立素材库规范 → `assets/ASSET-LIBRARY-SPEC.hdlp`
- [x] 建立经验迭代闭环 → `experience/ITERATION-LOOP.hdlp`
- [ ] 建立 CHAR-003-SuBai manifest 草案
- [ ] 建立 PROP-TDZ-PLAQUE manifest 草案
- [ ] 准备 TEST-LINE-001: 苏白2-3秒台词/口型测试
- [ ] 准备 TEST-PROP-001: 天道宗牌匾跨镜一致测试
- [ ] 连续剧集CHAR保鲜(跨集一致性校验)
### 输出约定 · 永久有效
@ -144,6 +182,13 @@
- D140次日冰朔反馈 preview-001: 天道宗牌匾跨镜变色变形;广告牌贴字模糊晃动;配音像念剧本而不是角色台词;转场像硬拼;需要多模型路由和 story context。已写入 `feedback/D140-preview001-bingshuo-feedback.hdlp` 与 `plans/EP01-15S-V2-PREVIEW-002.hdlp`。
- D140 preview-002执行: 固定本地密钥入口 `LOCAL-SECRETS-PATH.hdlp`;接入统一 env-loader使用万相 S01 T2V + S02/S03/S04 I2V 首帧锁定生成4镜本地生成配音/BGM/SFX因本机 FFmpeg 缺 subtitles/drawtext 滤镜,改用 Pillow 透明PNG字幕层 + overlay输出 `EP01-15S-V2-preview-002.mp4`14.741秒1280x72024fps。
### D143 · 2026-06-23
- 冰朔复盘 preview-002: 画质不可用;人物台词/口型未解决;旁白不能替代角色对白;天道宗牌匾和广告牌仍漂移/不可读;需要重建知识库、素材库、经验库和逐步质检。
- 铸渊抽帧复盘 preview-002确认它只证明工具链跑通不能作为成片基底。
- 新增 `experience/EP01-PREVIEW-002-REVIEW.hdlp`,将 preview-002 锁为失败经验样本。
- 新增 D143 Phase 0 知识库: 影视生产流程、对白口型、模型准入、素材库规范、迭代闭环。
- 新路线: 不生成 preview-003先做 `TEST-LINE-001` 苏白说一句话,再做 `TEST-PROP-001` 天道宗牌匾一致性。
### D136+ · 2026-06-21
- 冰朔检视3镜预览→发现3个连续性断裂
- 建立PROP编号协议 + continuity_locks架构
@ -164,5 +209,5 @@
- 确认技术债: 编号协议未落地
---
铸渊 ICE-GL-ZY001 · D136+ · 2026-06-21
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559

View File

@ -0,0 +1,152 @@
# D143 视频AI系统重启路线图
> HLDP://video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP
> 类型: 重启计划 · 知识库/素材库/模型准入/口型突破
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
---
## 总裁决
不继续把 preview-002 当半成品修。
从 D143 开始视频AI系统进入“制片厂化重启”:
```
先学习和建库
再做资产
再做单点能力测试
最后才重做15秒成片
```
---
## Phase 0 · 无成本学习与复盘
目标:
```
建立影视制作流程知识库
建立对白/口型工作流
建立模型能力矩阵
建立素材库规范
完成 preview-002 失败复盘
```
验收:
```
knowledge/FILM-PRODUCTION-WORKFLOW.hdlp
knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp
knowledge/MODEL-CAPABILITY-MATRIX.hdlp
assets/ASSET-LIBRARY-SPEC.hdlp
experience/EP01-PREVIEW-002-REVIEW.hdlp
experience/ITERATION-LOOP.hdlp
```
---
## Phase 1 · 素材库建设
必须先做:
```
CHAR-003-SuBai
PROP-TDZ-PLAQUE
PROP-FREE-AD-BOARD
ENV-002-Baizonghui
VOICE-CHAR-003-SuBai
```
验收:
```
每个资产有manifest。
每个资产有approved/rejected。
每个资产有连续性锁。
天道宗牌匾不再由视频模型自由生成。
```
---
## Phase 2 · 低成本动态分镜
用静帧、字幕、临时对白、BGM做 animatic。
验收:
```
不调用视频API也能看懂第1集开头15秒。
台词、字幕、镜头顺序、信息点成立。
```
---
## Phase 3 · 单点突破测试
测试顺序:
```
TEST-LINE-001: 苏白说一句话2-3秒。
TEST-PROP-001: 天道宗牌匾跨镜一致。
TEST-TEXTURE-001: 广告牌文字后期贴图稳定。
TEST-SCENE-001: 百宗会大场景不泛化。
```
验收:
```
每个测试都有模型、资产、输出、拆帧、质检、经验回写。
```
---
## Phase 4 · 15秒重做
只有 Phase 3 关键测试通过,才重做 EP01-15S。
重做时:
```
不沿用 preview-002 作为画面基底。
可沿用已证明有效的工具链和剪辑脚本。
必须使用资产库、对白口型策略、模型准入矩阵和经验闭环。
```
---
## Phase 5 · 集级流水线
15秒通过后再回到:
```
第1集21镜/69秒
角色保鲜
镜头批处理
自动质检
成本统计
经验库积累
```
---
## 当前下一步
```
1. 建立 Phase 0 文件并回写 CURRENT/STATUS/ENTRY。
2. 建立 CHAR-003-SuBai 与 PROP-TDZ-PLAQUE 的 manifest 草案。
3. 准备 TEST-LINE-001 的台词、音频、镜头设计。
4. 查本地密钥,但不泄露密钥内容。
5. 只在测试计划完整后调用火山/Seedance。
```
---
## 锁定
⊢ D143 的目标不是马上出视频,是恢复系统能力。
⊢ 第一个突破点是“人物说台词”,不是旁白。
⊢ 第二个突破点是“牌匾资产一致”,不是提示词重复。
⊢ 所有钱都花在能产生经验的测试上。