docs: reset video ai production workflow
This commit is contained in:
parent
65aa97ac0e
commit
45d16e101b
@ -3,6 +3,7 @@
|
||||
> HLDP://video-ai-system/CURRENT
|
||||
> 类型: 子系统官方置信入口 · 每次进入视频AI系统先读
|
||||
> 创建: D140 · 2026-06-22 · Codex收口
|
||||
> 更新: D143 · 2026-06-23 · preview-002复盘·制片厂化重启
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
> 国作登字-2026-A-00037559
|
||||
|
||||
@ -72,6 +73,8 @@
|
||||
```
|
||||
真人写实线: 注销。
|
||||
3D漫剧线: 唯一主线。
|
||||
preview-002: 失败经验样本,不进入成片主线。
|
||||
当前主任务: D143视频AI系统重启,先建知识库/素材库/模型准入/口型测试。
|
||||
代码仓库: 官方置信入口。
|
||||
JZAO外置盘: 产物存放地,不是状态主控。
|
||||
腾讯/WorkBuddy/Codex: 软件外壳,不是官方状态源。
|
||||
@ -99,6 +102,13 @@ JZAO外置盘: 产物存放地,不是状态主控。
|
||||
| 本地密钥入口 | ✅ 已固定 | `video-ai-system/LOCAL-SECRETS-PATH.hdlp` → `/Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env` |
|
||||
| V2 15秒小样 | ✅ preview-002已出 | `/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/zai-fu-fei-xiu-xian/ep01/EP01-15S-V2/final/EP01-15S-V2-preview-002.mp4` |
|
||||
| V2 preview-002报告 | ✅ 已回写 | `video-ai-system/outputs/EP01-15S-V2-preview-002-report.md` |
|
||||
| D143 preview-002复盘 | ✅ 已建立 | `video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp` |
|
||||
| 影视制作流程知识库 | ✅ 已建立 | `video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp` |
|
||||
| 对白/口型工作流 | ✅ 已建立 | `video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp` |
|
||||
| 模型能力准入矩阵 | ✅ 已建立 | `video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp` |
|
||||
| 素材库规范 | ✅ 已建立 | `video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp` |
|
||||
| 经验迭代闭环 | ✅ 已建立 | `video-ai-system/experience/ITERATION-LOOP.hdlp` |
|
||||
| D143重启路线图 | ✅ 已建立 | `video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
|
||||
| 旧导演编码 | ⚫ D136三镜遗留 | `video-ai-system/outputs/付费修仙-ep01-director-encoding.json` |
|
||||
| 旧提示词 | ⚫ 真人线遗留 | `video-ai-system/data/ep01-prompts.json` |
|
||||
| 旧3D产物 | ⚫ 废弃 | `/Volumes/JZAO/.../ep01-3D/` · 仅作反例 |
|
||||
@ -110,9 +120,10 @@ JZAO外置盘: 产物存放地,不是状态主控。
|
||||
当前正式任务:
|
||||
|
||||
```
|
||||
EP01-15S-V2:
|
||||
从剧本MD重新建立第1集开头15秒3D漫剧小样。
|
||||
preview-001 和 preview-002 均已输出。preview-002 使用万相 T2V/I2V + 首帧锁定 + 本地音频/BGM/SFX + PNG字幕层,输出约14.7秒。
|
||||
D143-VIDEO-AI-RESET:
|
||||
从 preview-002 失败复盘开始,重新建立影视制作流程知识库、素材库、模型准入、对白口型测试和经验闭环。
|
||||
不直接生成 preview-003。
|
||||
第一个突破测试是 2-3 秒“苏白说一句话”,第二个突破测试是“天道宗牌匾跨镜一致”。
|
||||
```
|
||||
|
||||
---
|
||||
@ -150,21 +161,16 @@ video-ai-system/PROTOCOL-ASSESSMENT.hdlp
|
||||
## 当前最优路径
|
||||
|
||||
```
|
||||
1. 运行无成本体检
|
||||
2. 读取 PIPELINE-3D-MANJU.hdlp
|
||||
3. 选第1集开头15秒范围
|
||||
4. EP01-15S-V2 导演编码 ✅ `outputs/ep01-director-encoding-3d-v2.json`
|
||||
5. EP01-15S-V2 3D提示词 ✅ `outputs/ep01-prompts-3d-v2.json`
|
||||
6. 读取参考样片分析 `reference-analysis/yuxiang-shouzhenxin-ep01-30s-sample.md`
|
||||
7. 读取第一阶段执行单 `plans/EP01-15S-V2-FIRST-STAGE.hdlp`
|
||||
8. 按 `outputs/ep01-anchor-prompts-3d-v2.json` 生成/确认角色、环境、道具视觉锚点 ✅
|
||||
9. 生成前检查PASS后才调用Seedance/Kling ✅
|
||||
10. 先跑 S02/S03,通过后跑 S04,最后补 S01 ✅
|
||||
11. 铸渊之眼拆帧质检 ✅
|
||||
12. video-editor.js加字幕/声音/剪辑成15秒小样 ✅ `preview-001`
|
||||
13. 回写 CURRENT / STATUS / audit report / registry ✅
|
||||
14. preview-002 重构资产固定、台词/BGM、转场叙事、story context、万相路由 ✅
|
||||
15. 下一步: 人工观看 preview-002,记录问题后决定是否重跑单镜或进入 EP01 后续镜头
|
||||
1. 读取 `experience/EP01-PREVIEW-002-REVIEW.hdlp`,确认preview-002为失败样本。
|
||||
2. 读取 `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp`,按Phase 0→Phase 4推进。
|
||||
3. 读取 `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`,用影视制片流程替代“提示词直出”。
|
||||
4. 读取 `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`,先解决角色说台词,不再用旁白替代。
|
||||
5. 读取 `assets/ASSET-LIBRARY-SPEC.hdlp`,建立CHAR/PROP/ENV批准资产。
|
||||
6. 读取 `knowledge/MODEL-CAPABILITY-MATRIX.hdlp`,以火山/Seedance为主视频引擎候选,其他模型必须实测准入。
|
||||
7. 读取 `experience/ITERATION-LOOP.hdlp`,任何API调用必须有实验假设、停止规则和质检回写。
|
||||
8. 先做 `TEST-LINE-001` 苏白2-3秒台词/口型测试。
|
||||
9. 再做 `TEST-PROP-001` 天道宗牌匾一致性测试。
|
||||
10. 两项通过后,才允许重新设计 EP01-15S。
|
||||
```
|
||||
|
||||
---
|
||||
@ -181,11 +187,11 @@ video-ai-system/PROTOCOL-ASSESSMENT.hdlp
|
||||
|
||||
⊢ 编码协议继续使用,但升级为“输入一致性底座”,不能再误认为“画面一致性万能解”。
|
||||
|
||||
⊢ 下一步不是继续抽卡,是先人工观看 preview-002,按镜头记录问题,再决定是否只重跑问题镜头。
|
||||
⊢ 下一步不是继续抽卡,也不是修 preview-002,而是按 D143 路线重建知识库、素材库、模型准入和口型测试。
|
||||
|
||||
⊢ 密钥问题先查 `video-ai-system/LOCAL-SECRETS-PATH.hdlp`,不再靠记忆判断“有没有给过”。
|
||||
|
||||
---
|
||||
|
||||
铸渊 ICE-GL-ZY001 · D140 · 2026-06-22
|
||||
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
|
||||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|
||||
|
||||
@ -4,7 +4,7 @@
|
||||
> 类型: HLDP导航地图 · ENTRY入口
|
||||
> ⚡ 进入链路: GLOBAL-NAV.hdlp → SYSTEM-WAKE.hdlp → AGENT-REGISTRY.hdlp → ENTRY.hdlp
|
||||
> 创建: D130 · 2026-06-11
|
||||
> 更新: D140 · 2026-06-22 · 3D漫剧主线·无成本体检·真人线注销
|
||||
> 更新: D143 · 2026-06-23 · preview-002复盘·知识库/素材库/口型/模型准入重启
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
> 国作登字-2026-A-00037559
|
||||
|
||||
@ -34,6 +34,7 @@
|
||||
| 日期 | 版本 | 变更 |
|
||||
|------|------|------|
|
||||
| 2026-06-21 | D136+ | continuity_locks连续性锁定架构·PROP道具编号协议·Agent_06导演编码·连续镜展开校验·Bug9-11经验库 |
|
||||
| 2026-06-23 | D143 | preview-002判定为失败样本·建立影视制作知识库/对白口型工作流/模型准入矩阵/素材库规范/经验迭代闭环 |
|
||||
|
||||
## 当前项目
|
||||
|
||||
@ -41,7 +42,7 @@
|
||||
|------|------|---------|
|
||||
| 付费才能修仙 · 漫剧测试 | ❌ 已停 (D131) | — |
|
||||
| 秦山号 · 真人短剧 | ❌ 已停 (D132) | — |
|
||||
| **付费才能修仙 · 3D漫剧主线** | 🟡 收口体检完成·待质检/重建提示词 | `/Volumes/JZAO/.../D136-付费才能修仙-ep01-15s.mp4` + `ep01-3D/3D-镜1~4.mp4` |
|
||||
| **付费才能修仙 · 3D漫剧主线** | 🟡 D143重启·先知识库/素材库/口型/模型准入 | `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
|
||||
|
||||
→ 项目状态: `video-ai-system/memory/zai-fu-fei-xiu-xian/STATUS.hdlp`
|
||||
→ 硬骨架: `video-ai-system/config/PROJECT-FRAMEWORK.hdlp`
|
||||
@ -50,9 +51,28 @@
|
||||
→ 3D漫剧V2管线: `video-ai-system/PIPELINE-3D-MANJU.hdlp`
|
||||
→ 多模型路由: `video-ai-system/MODEL-ROUTER.hdlp`
|
||||
→ preview-002计划: `video-ai-system/plans/EP01-15S-V2-PREVIEW-002.hdlp`
|
||||
→ D143重启路线图: `video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp`
|
||||
→ 影视制作流程知识库: `video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`
|
||||
→ 对白/口型工作流: `video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`
|
||||
→ 模型能力准入矩阵: `video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp`
|
||||
→ 素材库规范: `video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp`
|
||||
→ preview-002复盘: `video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp`
|
||||
→ 经验迭代闭环: `video-ai-system/experience/ITERATION-LOOP.hdlp`
|
||||
|
||||
## D140 主线裁决
|
||||
|
||||
```
|
||||
|
||||
## D143 重启裁决
|
||||
|
||||
```
|
||||
preview-002: 不进入成片主线,只作失败经验样本。
|
||||
不直接生成 preview-003。
|
||||
第一突破点: 苏白2-3秒角色台词/口型测试。
|
||||
第二突破点: 天道宗牌匾跨镜一致性测试。
|
||||
火山/Seedance: 当前视频主引擎候选。
|
||||
其他视频API: 未通过同套测试前,不准承载成片主镜头。
|
||||
所有API调用: 必须先有实验假设、资产、模型理由、停止规则和质检回写。
|
||||
```
|
||||
真人写实线: 注销,不再投入。
|
||||
3D漫剧线: 唯一主线。
|
||||
@ -158,5 +178,5 @@ video-ai-system/
|
||||
→ `video-ai-system/feedback/`
|
||||
|
||||
---
|
||||
铸渊 ICE-GL-ZY001 · D136+ · 2026-06-21
|
||||
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
|
||||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|
||||
|
||||
@ -3,6 +3,7 @@
|
||||
> HLDP://video-ai-system/MODEL-ROUTER
|
||||
> 类型: 多模型协同 · 镜头级模型选择 · 成本/质量/能力路由
|
||||
> 创建: D140 · 2026-06-23
|
||||
> 更新: D143 · 2026-06-23 · preview-002后模型准入降级
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
> 国作登字-2026-A-00037559
|
||||
|
||||
@ -36,6 +37,32 @@ preview-001 暴露出一个问题:
|
||||
|
||||
---
|
||||
|
||||
## D143 重新裁决
|
||||
|
||||
preview-002后,模型路由降级为“实测准入”:
|
||||
|
||||
```
|
||||
火山/Seedance: 当前视频主引擎候选。
|
||||
万相/Wan、可灵/Kling: 辅助/对照/局部测试;未通过质检前不承载成片主线。
|
||||
其他API: 默认不接入成片,除非先通过同一套测试镜头。
|
||||
```
|
||||
|
||||
正式准入矩阵见:
|
||||
|
||||
```
|
||||
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
|
||||
```
|
||||
|
||||
硬规则:
|
||||
|
||||
```
|
||||
同一镜头同一模型最多2次。
|
||||
第2次仍不达标,停止生成,写入经验库。
|
||||
不允许靠连续抽卡修复流程问题。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 已接入
|
||||
|
||||
| 模型/平台 | 当前状态 | 适合任务 | 当前限制 |
|
||||
@ -140,7 +167,7 @@ MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generati
|
||||
## 锁定
|
||||
|
||||
⊢ 多模型不是为了炫技,是为了把每个镜头交给最适合、也最省钱的能力。
|
||||
⊢ Preview-002 只新增万相;腾讯混元和 MiniMax 暂缓。
|
||||
⊢ Preview-002 已作为失败经验样本回写;万相不再默认承担成片主视频质量基准。
|
||||
⊢ 模型只负责生成素材,铸渊负责导演、资产、剪辑、质检和回写。
|
||||
⊢ 成本控制优先于连续抽卡。
|
||||
⊢ 任何新模型接入前必须先查官方文档与价格,不许闭门造车。
|
||||
|
||||
140
video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp
Normal file
140
video-ai-system/assets/ASSET-LIBRARY-SPEC.hdlp
Normal file
@ -0,0 +1,140 @@
|
||||
# 视频AI系统素材库规范 · 角色/道具/场景资产锁定
|
||||
|
||||
> HLDP://video-ai-system/assets/ASSET-LIBRARY-SPEC
|
||||
> 类型: 素材库 · 资产一致性 · 视觉锚点
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## 为什么建立
|
||||
|
||||
天道宗牌匾在不同镜头里颜色、位置、形状漂移,说明它还不是资产,只是提示词里的一个词。
|
||||
|
||||
在视频系统里:
|
||||
|
||||
```
|
||||
提示词里的“天道宗牌匾”不是资产。
|
||||
被批准、编号、存档、复用、质检的图片/贴图/参考,才是资产。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 资产目录规范
|
||||
|
||||
建议结构:
|
||||
|
||||
```
|
||||
video-ai-system/assets/
|
||||
characters/
|
||||
CHAR-003-SuBai/
|
||||
manifest.hdlp
|
||||
approved/
|
||||
candidates/
|
||||
rejected/
|
||||
turnarounds/
|
||||
voice/
|
||||
props/
|
||||
PROP-TDZ-PLAQUE/
|
||||
manifest.hdlp
|
||||
approved/
|
||||
texture/
|
||||
tracking-tests/
|
||||
rejected/
|
||||
envs/
|
||||
ENV-002-Baizonghui/
|
||||
manifest.hdlp
|
||||
approved/
|
||||
layout/
|
||||
rejected/
|
||||
audio/
|
||||
voices/
|
||||
bgm/
|
||||
sfx/
|
||||
qc/
|
||||
frame-contact-sheets/
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## manifest必填字段
|
||||
|
||||
```
|
||||
asset_id
|
||||
asset_type
|
||||
project
|
||||
episode_scope
|
||||
canonical_name
|
||||
visual_description
|
||||
approved_files
|
||||
negative_examples
|
||||
color_palette
|
||||
style_locks
|
||||
continuity_locks
|
||||
usage_rules
|
||||
last_qc_date
|
||||
approval_status
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 天道宗牌匾硬规则
|
||||
|
||||
`PROP-TDZ-PLAQUE` 必须先完成:
|
||||
|
||||
```
|
||||
1. 正面批准图
|
||||
2. 斜侧角度图
|
||||
3. 字体/颜色/材质说明
|
||||
4. 允许出现的位置
|
||||
5. 禁止变体反例
|
||||
6. 后期平面贴图方案
|
||||
```
|
||||
|
||||
视频模型不得在每个镜头里重新发明牌匾。
|
||||
|
||||
如果镜头需要读清文字,优先:
|
||||
|
||||
```
|
||||
生成无字/弱字底板
|
||||
→ 后期贴正式牌匾纹理
|
||||
→ 平面追踪/透视变换
|
||||
→ 拆帧质检
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 角色一致性硬规则
|
||||
|
||||
`CHAR-003-SuBai` 必须先完成:
|
||||
|
||||
```
|
||||
1. 正面半身批准图
|
||||
2. 侧脸批准图
|
||||
3. 全身服装图
|
||||
4. 表情小样
|
||||
5. 声音画像
|
||||
6. 禁用反例
|
||||
```
|
||||
|
||||
未完成前,不做连续台词镜头。
|
||||
|
||||
---
|
||||
|
||||
## 资产验收标准
|
||||
|
||||
| 资产 | 必须稳定 | 失败表现 |
|
||||
|------|----------|----------|
|
||||
| 角色 | 脸、发型、服装、年龄、渲染风格 | 换脸、真人化、衣服变、年龄变 |
|
||||
| 牌匾 | 字、颜色、材质、位置关系 | 字糊、变色、横竖变、位置跳 |
|
||||
| 广告牌 | 版式、文字、透视 | 字漂、糊、内容变 |
|
||||
| 场景 | 空间布局、光线方向、主视觉元素 | 每镜变成新地方 |
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 一致性不是提示词重复,是资产复用。
|
||||
⊢ 资产未批准,不能进成片镜头。
|
||||
⊢ 资产库和经验库必须随着每次生成同步更新。
|
||||
|
||||
@ -0,0 +1,87 @@
|
||||
# 资产清单 · CHAR-003-SuBai
|
||||
|
||||
> HLDP://video-ai-system/assets/characters/CHAR-003-SuBai/manifest
|
||||
> 类型: 角色资产 · 待批准
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 项目: 付费才能修仙 · EP01
|
||||
|
||||
---
|
||||
|
||||
## 状态
|
||||
|
||||
```
|
||||
approval_status: DRAFT
|
||||
asset_type: character
|
||||
canonical_id: CHAR-003
|
||||
canonical_name: 苏白
|
||||
next_test: TEST-LINE-001
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 资产目标
|
||||
|
||||
苏白必须能支撑:
|
||||
|
||||
```
|
||||
中近景说台词
|
||||
侧脸/反应镜头
|
||||
与天道宗牌匾同场出现
|
||||
连续剧集保鲜
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 必须补齐
|
||||
|
||||
```
|
||||
approved/front_half_body.png
|
||||
approved/side_face.png
|
||||
approved/full_body_costume.png
|
||||
approved/expression_sheet.png
|
||||
voice/voice-profile.hdlp
|
||||
rejected/negative-examples.hdlp
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 视觉锁
|
||||
|
||||
待从 `data/characters-v2.hdlp` 和已生成角色图中同步:
|
||||
|
||||
```
|
||||
face_shape
|
||||
hair_style
|
||||
costume
|
||||
age_band
|
||||
render_style
|
||||
color_palette
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 口型测试要求
|
||||
|
||||
`TEST-LINE-001` 只允许使用批准资产。
|
||||
|
||||
测试必须记录:
|
||||
|
||||
```
|
||||
台词原文
|
||||
对白音频
|
||||
是否嘴巴可见
|
||||
模型路线
|
||||
输出路径
|
||||
拆帧结果
|
||||
角色一致性
|
||||
嘴型同步
|
||||
表演情绪
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 未批准前,苏白不能进入连续台词成片镜头。
|
||||
⊢ preview-002里的苏白不作为批准资产,只作为反例参考。
|
||||
|
||||
99
video-ai-system/assets/props/PROP-TDZ-PLAQUE/manifest.hdlp
Normal file
99
video-ai-system/assets/props/PROP-TDZ-PLAQUE/manifest.hdlp
Normal file
@ -0,0 +1,99 @@
|
||||
# 资产清单 · PROP-TDZ-PLAQUE
|
||||
|
||||
> HLDP://video-ai-system/assets/props/PROP-TDZ-PLAQUE/manifest
|
||||
> 类型: 道具资产 · 天道宗牌匾 · 待批准
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 项目: 付费才能修仙 · EP01
|
||||
|
||||
---
|
||||
|
||||
## 状态
|
||||
|
||||
```
|
||||
approval_status: DRAFT
|
||||
asset_type: prop
|
||||
canonical_name: 天道宗牌匾
|
||||
next_test: TEST-PROP-001
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 资产目标
|
||||
|
||||
天道宗牌匾必须从“提示词里的词”升级为“可复用视觉资产”。
|
||||
|
||||
它必须支撑:
|
||||
|
||||
```
|
||||
近景可读
|
||||
中景稳定
|
||||
跨镜头位置关系稳定
|
||||
颜色/字形/材质不漂移
|
||||
必要时后期贴图
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 必须补齐
|
||||
|
||||
```
|
||||
approved/front.png
|
||||
approved/angled.png
|
||||
texture/tiandaozong-plaque-texture.png
|
||||
tracking-tests/test-001-report.hdlp
|
||||
rejected/negative-examples.hdlp
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 视觉锁
|
||||
|
||||
```
|
||||
文字: 天道宗
|
||||
方向: 竖式悬挂优先
|
||||
材质: 固定材质,不能每镜变化
|
||||
颜色: 固定主色/边框/文字色
|
||||
位置: 与百宗会入口/摊位空间关系固定
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 后期策略
|
||||
|
||||
如果视频模型不能稳定生成清晰文字:
|
||||
|
||||
```
|
||||
生成无字或弱字底板
|
||||
使用 texture/tiandaozong-plaque-texture.png 做正式文字
|
||||
用 OpenCV/FFmpeg 做平面追踪或透视贴图
|
||||
拆帧检查文字是否跳动
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 牌匾测试要求
|
||||
|
||||
`TEST-PROP-001` 必须至少包含两个镜头:
|
||||
|
||||
```
|
||||
S-A: 牌匾特写
|
||||
S-B: 角色/场景中景带牌匾
|
||||
```
|
||||
|
||||
合格标准:
|
||||
|
||||
```
|
||||
颜色不变
|
||||
字形不变
|
||||
横竖方向不变
|
||||
空间位置不跳
|
||||
画面中可辨认
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 未批准前,天道宗牌匾不能进入成片主镜头。
|
||||
⊢ preview-002中的牌匾不作为批准资产,只作为失败样本。
|
||||
|
||||
87
video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp
Normal file
87
video-ai-system/experience/EP01-PREVIEW-002-REVIEW.hdlp
Normal file
@ -0,0 +1,87 @@
|
||||
# EP01-15S-V2 preview-002 复盘 · D143
|
||||
|
||||
> HLDP://video-ai-system/experience/EP01-PREVIEW-002-REVIEW
|
||||
> 类型: 失败样本复盘 · 成片质量质检
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## 结论
|
||||
|
||||
preview-002 不进入成片主线。
|
||||
|
||||
它保留为失败经验样本,用来证明当前系统不能再从“提示词+视频API+拼接”继续推进。
|
||||
|
||||
---
|
||||
|
||||
## 产物
|
||||
|
||||
```
|
||||
/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/zai-fu-fei-xiu-xian/ep01/EP01-15S-V2/final/EP01-15S-V2-preview-002.mp4
|
||||
时长: 14.741s
|
||||
规格: 1280x720 · 24fps · H.264 + AAC
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 冰朔反馈吸收
|
||||
|
||||
```
|
||||
画质太差。
|
||||
其他API可能只能做图,视频生成除了火山引擎这个模型,别的都不太行。
|
||||
人物说话没有解决,必须是角色说台词,不是旁白读剧本。
|
||||
角色/道具一致性没解决,天道宗牌匾跨镜漂移。
|
||||
系统要重新从学习、知识库、素材库、经验库开始。
|
||||
每一步必须有检验对比和问题记录。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 铸渊视觉复盘
|
||||
|
||||
抽帧后观察:
|
||||
|
||||
| 问题 | 具体表现 | 判定 |
|
||||
|------|----------|------|
|
||||
| 画质/风格 | 局部镜头像通用AI幻想画,人物风格偏真人化 | 不合格 |
|
||||
| 角色一致性 | 苏白脸部/渲染风格不够稳定 | 不合格 |
|
||||
| 牌匾一致性 | S02有牌匾,S03位置/大小/空间关系重新生成 | 不合格 |
|
||||
| 广告牌文字 | S04广告牌文字软、空、不可读,信息靠字幕补 | 不合格 |
|
||||
| 对白表演 | 没有完成角色嘴型驱动的台词表演 | 不合格 |
|
||||
| 剪辑叙事 | 四段素材拼接感明显,缺少导演调度 | 不合格 |
|
||||
| 系统价值 | 能证明工具链能跑通,但不能证明成片可用 | 仅作技术样本 |
|
||||
|
||||
---
|
||||
|
||||
## 根因
|
||||
|
||||
```
|
||||
1. 资产没有真正锁定。
|
||||
2. 对白没有按角色表演管线处理。
|
||||
3. 模型准入没有以同一套测试镜头验收。
|
||||
4. 生成前缺少animatic和镜头目的验收。
|
||||
5. 失败经验没有及时形成硬门槛。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 下一步裁决
|
||||
|
||||
```
|
||||
不继续修 preview-002。
|
||||
不直接生成 preview-003。
|
||||
先建立知识库、素材库、模型准入测试、对白口型测试。
|
||||
第一个生成任务改为 2-3 秒“苏白说一句话”口型测试。
|
||||
第二个生成任务才是天道宗牌匾一致性测试。
|
||||
两项不过,不重做15秒成片。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ preview-002 是反例,不是半成品。
|
||||
⊢ 它的价值是暴露系统缺层,而不是继续硬修。
|
||||
⊢ 后续所有生成必须能解释“这次比preview-002具体修了什么”。
|
||||
|
||||
101
video-ai-system/experience/ITERATION-LOOP.hdlp
Normal file
101
video-ai-system/experience/ITERATION-LOOP.hdlp
Normal file
@ -0,0 +1,101 @@
|
||||
# 视频AI系统经验库 · 迭代闭环协议
|
||||
|
||||
> HLDP://video-ai-system/experience/ITERATION-LOOP
|
||||
> 类型: 生成实验记录 · 质检回写 · 成本控制
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## 目的
|
||||
|
||||
视频AI系统不能每次从零开始猜。
|
||||
|
||||
每次生成,不管成功失败,都必须写回经验库。
|
||||
|
||||
---
|
||||
|
||||
## 一次实验的最小记录
|
||||
|
||||
```
|
||||
experiment_id
|
||||
date
|
||||
project
|
||||
episode
|
||||
shot_id
|
||||
goal
|
||||
hypothesis
|
||||
input_assets
|
||||
prompt_file
|
||||
model_route
|
||||
audio_route
|
||||
output_path
|
||||
qc_method
|
||||
qc_result
|
||||
cost
|
||||
decision
|
||||
next_change
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 实验前必须回答
|
||||
|
||||
```
|
||||
这次要验证什么?
|
||||
为什么必须花钱生成?
|
||||
如果失败,怎么判断是模型问题、资产问题、提示词问题、剪辑问题,还是口型问题?
|
||||
失败后停止点在哪里?
|
||||
```
|
||||
|
||||
答不出来,不生成。
|
||||
|
||||
---
|
||||
|
||||
## 质检维度
|
||||
|
||||
| 维度 | 问题 |
|
||||
|------|------|
|
||||
| script | 是否忠于剧本信息点 |
|
||||
| character | 角色是否一致 |
|
||||
| prop | 道具是否一致 |
|
||||
| environment | 空间是否连续 |
|
||||
| performance | 是否像角色在表演 |
|
||||
| dialogue | 台词是否由角色说出 |
|
||||
| lip_sync | 嘴型是否可接受 |
|
||||
| edit | 剪辑是否讲故事 |
|
||||
| sound | 声音是否分轨、同步、有层次 |
|
||||
| quality | 画质是否可用于对外证明 |
|
||||
|
||||
---
|
||||
|
||||
## 决策枚举
|
||||
|
||||
```
|
||||
PASS_TO_NEXT_STAGE
|
||||
RETRY_SAME_ROUTE_ONCE
|
||||
CHANGE_ASSET
|
||||
CHANGE_MODEL
|
||||
CHANGE_SHOT_DESIGN
|
||||
USE_DIRECTOR_AVOIDANCE
|
||||
STOP_AND_REPLAN
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 成本锁
|
||||
|
||||
```
|
||||
同一问题最多两次生成。
|
||||
超过两次仍失败,必须停止并改流程。
|
||||
不允许靠堆API次数解决系统认知问题。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 经验库是视频AI系统的大脑,不是事后总结。
|
||||
⊢ 没有实验记录的产物,不能进入官方进度。
|
||||
⊢ 失败必须有用,否则就是浪费钱。
|
||||
|
||||
181
video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp
Normal file
181
video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp
Normal file
@ -0,0 +1,181 @@
|
||||
# 视频AI系统知识库 · 角色对白与口型同步工作流
|
||||
|
||||
> HLDP://video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW
|
||||
> 类型: 对白表演 · 口型同步 · 声音分轨
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## 当前问题
|
||||
|
||||
preview-001/preview-002 的声音问题不是“配音音色不够好”。
|
||||
|
||||
核心错误是:
|
||||
|
||||
```
|
||||
旁白读剧本 ≠ 人物说台词
|
||||
```
|
||||
|
||||
《付费才能修仙》需要的是角色在镜头里说话:
|
||||
|
||||
```
|
||||
角色身份
|
||||
情绪
|
||||
停顿
|
||||
嘴型
|
||||
反应镜头
|
||||
字幕
|
||||
环境声
|
||||
音乐
|
||||
```
|
||||
|
||||
这些必须一起设计。
|
||||
|
||||
---
|
||||
|
||||
## 音频分轨
|
||||
|
||||
每个镜头必须拆成:
|
||||
|
||||
| 轨道 | 用途 | 是否能替代角色对白 |
|
||||
|------|------|--------------------|
|
||||
| dialogue | 角色实际台词 | 是,主轨 |
|
||||
| narration | 旁白/系统提示 | 否,只能辅助 |
|
||||
| crowd | 群声、嘲笑、惊呼 | 否 |
|
||||
| ambience | 环境底噪 | 否 |
|
||||
| sfx | 动作音效、法术、脚步 | 否 |
|
||||
| bgm | 音乐情绪 | 否 |
|
||||
|
||||
---
|
||||
|
||||
## 台词数据结构
|
||||
|
||||
每一句角色台词必须有:
|
||||
|
||||
```
|
||||
line_id
|
||||
character_id
|
||||
speaker_name
|
||||
text
|
||||
emotion
|
||||
subtext
|
||||
pace
|
||||
start_time
|
||||
end_time
|
||||
mouth_visible
|
||||
shot_id
|
||||
voice_asset
|
||||
lip_sync_strategy
|
||||
```
|
||||
|
||||
`mouth_visible=true` 的镜头必须走口型策略。
|
||||
|
||||
---
|
||||
|
||||
## 三种口型策略
|
||||
|
||||
### A. 原生音频驱动视频
|
||||
|
||||
适用:
|
||||
|
||||
```
|
||||
模型支持音频驱动/参考生视频
|
||||
角色脸部稳定
|
||||
嘴型和头部动作可控
|
||||
```
|
||||
|
||||
风险:
|
||||
|
||||
```
|
||||
画质、脸型、角色一致性可能再次漂移。
|
||||
必须用一个台词近景做A/B测试。
|
||||
```
|
||||
|
||||
### B. 先生成画面,再做口型同步
|
||||
|
||||
适用:
|
||||
|
||||
```
|
||||
先得到稳定角色画面
|
||||
再用对白音频驱动嘴部
|
||||
```
|
||||
|
||||
候选:
|
||||
|
||||
```
|
||||
Wav2Lip / 其他本地或API lip-sync 工具
|
||||
```
|
||||
|
||||
风险:
|
||||
|
||||
```
|
||||
可能破坏脸部质量。
|
||||
必须拆帧看嘴部、牙齿、脸型和边缘伪影。
|
||||
```
|
||||
|
||||
### C. 口型未解决前的导演规避
|
||||
|
||||
适用:
|
||||
|
||||
```
|
||||
当前系统还不能稳定做人物正脸说话
|
||||
```
|
||||
|
||||
可用手法:
|
||||
|
||||
```
|
||||
背影说话
|
||||
侧脸短句
|
||||
切到听者反应
|
||||
切道具/牌匾/系统面板
|
||||
远景群声
|
||||
字幕承载信息
|
||||
```
|
||||
|
||||
注意:
|
||||
|
||||
```
|
||||
这是临时导演策略,不是最终解决方案。
|
||||
不能把整集都做成旁白。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 第一个必须突破的测试
|
||||
|
||||
不要直接重做15秒。
|
||||
|
||||
先做一个 2-3 秒的“苏白说一句话”测试:
|
||||
|
||||
```
|
||||
镜头: 苏白中近景
|
||||
台词: 原剧本中一句短台词
|
||||
资产: CHAR-003-SuBai 已批准角色图
|
||||
声音: dialogue单轨,无旁白
|
||||
输出: 一个有嘴型、有情绪、有字幕的短镜头
|
||||
质检: 角色一致、嘴型可接受、表演不像念稿
|
||||
```
|
||||
|
||||
这个测试不过,不进入EP01成片生成。
|
||||
|
||||
---
|
||||
|
||||
## 资料来源
|
||||
|
||||
```
|
||||
Wav2Lip paper/code:
|
||||
https://github.com/Rudrabha/Wav2Lip
|
||||
|
||||
FFmpeg filters for audio/video composition:
|
||||
https://ffmpeg.org/ffmpeg-filters.html
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 人物台词必须按角色对白处理,不再用旁白代替。
|
||||
⊢ 有嘴巴可见的角色说话镜头,必须有口型同步策略。
|
||||
⊢ 口型未解决前,导演可以规避正脸长台词,但必须记录为临时策略。
|
||||
|
||||
139
video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp
Normal file
139
video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp
Normal file
@ -0,0 +1,139 @@
|
||||
# 视频AI系统知识库 · 从剧本到成片的生产流程
|
||||
|
||||
> HLDP://video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW
|
||||
> 类型: 影视制作流程知识库 · AI漫剧生产映射
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
> 国作登字-2026-A-00037559
|
||||
|
||||
---
|
||||
|
||||
## 为什么建立
|
||||
|
||||
preview-001/preview-002 证明:
|
||||
|
||||
```
|
||||
脚本 → 分镜 → 提示词 → 调视频API → 拼接
|
||||
```
|
||||
|
||||
不是完整的成片流程。
|
||||
|
||||
它缺少人类影视工业里最关键的中间层:
|
||||
|
||||
```
|
||||
剧本拆解
|
||||
美术设定
|
||||
资产锁定
|
||||
表演设计
|
||||
对白录制
|
||||
镜头调度
|
||||
剪辑节奏
|
||||
声音设计
|
||||
质检回写
|
||||
```
|
||||
|
||||
没有这些,AI视频会变成每镜重新想象,角色、道具、空间、声音全部漂移。
|
||||
|
||||
---
|
||||
|
||||
## 人类影视流程
|
||||
|
||||
| 阶段 | 人类制作做什么 | AI漫剧系统对应动作 |
|
||||
|------|----------------|--------------------|
|
||||
| 剧本锁定 | 确认剧情、对白、场景、角色关系 | 锁定剧本MD、集数范围、对白逐句编号 |
|
||||
| 剧本拆解 | 拆角色、道具、场景、服装、特效、声音 | 生成 CHAR/PROP/ENV/SFX/MUSIC/LINE 清单 |
|
||||
| 美术设定 | 角色设计、道具设计、场景设计、色彩气氛 | 建立资产库,批准参考图和禁用反例 |
|
||||
| 分镜/故事板 | 确认每个镜头的构图、景别、运动、时长 | 导演编码输出 shot_spec,不直接写散乱提示词 |
|
||||
| 预演/动态分镜 | 先用低成本方式看节奏 | 用静帧+字幕+临时音频做 animatic |
|
||||
| 录音/表演 | 演员说台词,导演控制情绪和停顿 | 生成角色对白音轨,不把剧本当旁白念 |
|
||||
| 拍摄/生成 | 按镜头拍摄,保持演员和道具一致 | 每镜绑定资产、首帧、参考图、模型路由 |
|
||||
| 剪辑 | 按情绪和信息组织镜头,不是机械拼接 | 本地剪辑器执行节奏、转场、反应镜头 |
|
||||
| 后期声音 | 对白、环境声、音效、音乐混音 | dialogue/bgm/sfx/ambience 分轨管理 |
|
||||
| 调色/QC | 风格统一,检查穿帮和技术质量 | 拆帧质检、音画质检、连续性写回经验库 |
|
||||
|
||||
---
|
||||
|
||||
## AI漫剧的最小可用流程
|
||||
|
||||
第1集开头15秒不再直接从提示词开始。
|
||||
|
||||
必须按以下顺序:
|
||||
|
||||
```
|
||||
1. script_lock
|
||||
锁定要做的剧本文本和对白原句。
|
||||
|
||||
2. breakdown
|
||||
拆出角色、场景、道具、动作、对白、声音。
|
||||
|
||||
3. asset_lock
|
||||
为每个角色/道具/场景建立可复用资产。
|
||||
|
||||
4. shot_design
|
||||
写导演编码: 景别、机位、运动、表演、信息点、连续性锁。
|
||||
|
||||
5. audio_plan
|
||||
分离角色台词、旁白、群声、环境声、音效、音乐。
|
||||
|
||||
6. animatic
|
||||
先做低成本静态动态分镜,确认叙事能看懂。
|
||||
|
||||
7. model_test
|
||||
只选1个关键镜头做模型能力测试。
|
||||
|
||||
8. generation
|
||||
通过测试后才批量生成镜头素材。
|
||||
|
||||
9. edit
|
||||
剪辑、字幕、声音、转场、节奏统一。
|
||||
|
||||
10. qc_writeback
|
||||
拆帧质检,把成功/失败写入经验库。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 生成前硬门槛
|
||||
|
||||
任何镜头调用视频API前必须满足:
|
||||
|
||||
```
|
||||
有剧本原句
|
||||
有镜头目的
|
||||
有资产ID
|
||||
有参考图或首帧策略
|
||||
有对白/声音策略
|
||||
有模型选择理由
|
||||
有失败停止规则
|
||||
有质检表
|
||||
```
|
||||
|
||||
不满足时,不许生成。
|
||||
|
||||
---
|
||||
|
||||
## 资料来源
|
||||
|
||||
这些来源用于建立通用影视流程认知,仓库内以本文件规则为准:
|
||||
|
||||
```
|
||||
Adobe video production workflow:
|
||||
https://www.adobe.com/creativecloud/video/discover/video-production.html
|
||||
|
||||
MasterClass film production stages:
|
||||
https://www.masterclass.com/articles/film-production-guide
|
||||
|
||||
StudioBinder script breakdown / shot list / storyboard references:
|
||||
https://www.studiobinder.com/blog/script-breakdown/
|
||||
https://www.studiobinder.com/blog/shot-list-template/
|
||||
https://www.studiobinder.com/blog/storyboard-examples-film/
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 视频AI系统不是提示词机,是AI制片厂。
|
||||
⊢ 先做剧本拆解、资产、表演和声音,再做视频生成。
|
||||
⊢ 15秒小样也必须按成片流程走,否则不能证明系统可复制。
|
||||
|
||||
105
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
Normal file
105
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
Normal file
@ -0,0 +1,105 @@
|
||||
# 视频AI系统知识库 · 模型能力与准入矩阵
|
||||
|
||||
> HLDP://video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX
|
||||
> 类型: 模型准入 · 质量门槛 · A/B经验
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## D143重新裁决
|
||||
|
||||
冰朔反馈后,当前默认判断改为:
|
||||
|
||||
```
|
||||
火山/Seedance: 视频主引擎候选。
|
||||
其他视频API: 降级为待验证能力,不再默认进入成片。
|
||||
万相/可灵等: 可以做图、首帧、局部测试、能力对照;未通过质检前不承载成片主镜头。
|
||||
```
|
||||
|
||||
这不是永久结论,是当前项目经验结论。
|
||||
|
||||
任何模型想进入正式生产,必须用仓库内同一套测试镜头通过质检。
|
||||
|
||||
---
|
||||
|
||||
## 准入测试镜头
|
||||
|
||||
| 测试ID | 测什么 | 合格标准 |
|
||||
|--------|--------|----------|
|
||||
| TEST-PROP-001 | 天道宗牌匾跨镜一致性 | 颜色、字形、位置、材质不漂移 |
|
||||
| TEST-CHAR-001 | 苏白角色一致性 | 脸、发型、服装、年龄、渲染风格稳定 |
|
||||
| TEST-LINE-001 | 苏白说一句台词 | 角色对白、嘴型、情绪、字幕同步 |
|
||||
| TEST-TEXTURE-001 | 广告牌文字贴图 | 文字不糊、不跳、不被模型重画 |
|
||||
| TEST-SCENE-001 | 百宗会大场景 | 场面可读,不像通用幻想集市 |
|
||||
|
||||
---
|
||||
|
||||
## 当前模型角色
|
||||
|
||||
| 模型/工具 | 当前角色 | 可做 | 不准做 |
|
||||
|-----------|----------|------|--------|
|
||||
| 火山/Seedance | 主视频引擎候选 | 关键视频镜头测试、图生视频、角色/场景动效 | 未过测试前批量生成 |
|
||||
| 可灵/Kling | 待验证视频备选 | 动作/参考图对照、小样能力测试 | 直接承载成片主线 |
|
||||
| 阿里万相/Wan | 降级为待验证/辅助 | 首帧、参考、局部实验、能力对照 | 直接作为成片质量基准 |
|
||||
| 本地FFmpeg/OpenCV | 后期与合成 | 剪辑、字幕、叠图、音频混合、平面追踪实验 | 代替角色表演 |
|
||||
| 本地/开源口型工具 | 待验证 | 角色对白口型测试 | 未验收前用于正片 |
|
||||
|
||||
---
|
||||
|
||||
## 失败停止规则
|
||||
|
||||
```
|
||||
同一镜头同一模型最多2次。
|
||||
第2次仍不达标,停止生成。
|
||||
必须写入 experience,再改资产、镜头设计或模型路线。
|
||||
禁止用连续抽卡掩盖流程问题。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 每次调用必须记录
|
||||
|
||||
```
|
||||
date
|
||||
shot_id
|
||||
test_id
|
||||
provider
|
||||
model
|
||||
input_assets
|
||||
prompt_file
|
||||
audio_file
|
||||
output_path
|
||||
cost_estimate
|
||||
expected_pass
|
||||
actual_result
|
||||
failure_reason
|
||||
next_decision
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 官方资料入口
|
||||
|
||||
```
|
||||
Volcengine/Seedance docs:
|
||||
https://www.volcengine.com/docs/
|
||||
|
||||
Alibaba DashScope Model Studio video generation docs:
|
||||
https://help.aliyun.com/zh/model-studio/
|
||||
|
||||
Kling Open Platform API docs:
|
||||
https://klingai.com/document-api/
|
||||
|
||||
FFmpeg filters:
|
||||
https://ffmpeg.org/ffmpeg-filters.html
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ 当前以火山/Seedance作为视频主引擎候选。
|
||||
⊢ 其他模型必须先通过同一套测试,不再靠宣传页判断。
|
||||
⊢ 模型能力矩阵必须由实测结果更新,不由愿望更新。
|
||||
|
||||
@ -1,7 +1,7 @@
|
||||
# 付费才能修仙 · 3D漫剧主线 · 项目状态
|
||||
|
||||
> HLDP://video-ai-system/memory/zai-fu-fei-xiu-xian/STATUS
|
||||
> 更新: D140 · 2026-06-22 · Codex体检回写
|
||||
> 更新: D143 · 2026-06-23 · preview-002复盘·制片厂化重启
|
||||
> 铸渊 ICE-GL-ZY001
|
||||
> 国作登字-2026-A-00037559
|
||||
|
||||
@ -18,6 +18,28 @@
|
||||
旧外置盘视频产物: 全部废弃,只作为踩坑样本。
|
||||
```
|
||||
|
||||
## D143 当前决策: preview-002不进成片 · 系统重启
|
||||
|
||||
冰朔已明确指出:
|
||||
|
||||
```
|
||||
preview-002 画质不可用。
|
||||
人物说话没有解决,不是旁白读剧本。
|
||||
天道宗牌匾等资产跨镜漂移。
|
||||
需要从学习、知识库、素材库、经验库重新梳理。
|
||||
每一步要有检验对比和问题记录。
|
||||
```
|
||||
|
||||
因此当前状态改为:
|
||||
|
||||
```
|
||||
preview-002: 失败经验样本。
|
||||
preview-003: 暂不生成。
|
||||
当前任务: 执行 D143-VIDEO-AI-RESET-ROADMAP。
|
||||
第一测试: 苏白2-3秒角色台词/口型。
|
||||
第二测试: 天道宗牌匾跨镜一致。
|
||||
```
|
||||
|
||||
原因:
|
||||
- 真人AI观感尴尬,人物表演和一致性成本过高。
|
||||
- 网文短剧最终要回到内容质量,3D漫剧更适合承载剧本、系统面板、仙侠特效和连续剧集。
|
||||
@ -68,6 +90,13 @@
|
||||
| 本地密钥入口 | ✅ | `LOCAL-SECRETS-PATH.hdlp` · 固定读取 `/Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env` |
|
||||
| V2 15秒小样 | ✅ | `EP01-15S-V2-preview-002.mp4` · 万相T2V/I2V + 本地音频/BGM/SFX + PNG字幕层 |
|
||||
| V2 preview-002报告 | ✅ | `outputs/EP01-15S-V2-preview-002-report.md` |
|
||||
| D143 preview-002复盘 | ✅ | `experience/EP01-PREVIEW-002-REVIEW.hdlp` · 不进入成片主线 |
|
||||
| D143重启路线图 | ✅ | `plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp` |
|
||||
| 影视制作流程知识库 | ✅ | `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp` |
|
||||
| 对白/口型工作流 | ✅ | `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp` |
|
||||
| 模型能力准入矩阵 | ✅ | `knowledge/MODEL-CAPABILITY-MATRIX.hdlp` |
|
||||
| 素材库规范 | ✅ | `assets/ASSET-LIBRARY-SPEC.hdlp` |
|
||||
| 经验迭代闭环 | ✅ | `experience/ITERATION-LOOP.hdlp` |
|
||||
| 旧导演编码 | ⚫ | `付费修仙-ep01-director-encoding.json` · D136三镜遗留,仅作经验 |
|
||||
| 旧提示词 | ⚫ | `ep01-prompts.json` 为真人线遗留,不再使用 |
|
||||
| 旧3D产物 | ⚫ | 全部废弃,只保留为反例经验 |
|
||||
@ -115,7 +144,16 @@
|
||||
- [x] 先生成2~3镜,扩展到4镜,剪辑出15秒连续可看小样
|
||||
- [x] 记录 preview-001 冰朔反馈,建立 preview-002 重构计划
|
||||
- [x] preview-002 固定牌匾/广告牌资产,重写音频剧本、转场语法、story context、万相路由
|
||||
- [ ] 人工观看 preview-002,记录下一轮单镜修复项
|
||||
- [x] 人工观看 preview-002,记录失败复盘 → `experience/EP01-PREVIEW-002-REVIEW.hdlp`
|
||||
- [x] 建立影视制作流程知识库 → `knowledge/FILM-PRODUCTION-WORKFLOW.hdlp`
|
||||
- [x] 建立角色对白/口型工作流 → `knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp`
|
||||
- [x] 建立模型能力准入矩阵 → `knowledge/MODEL-CAPABILITY-MATRIX.hdlp`
|
||||
- [x] 建立素材库规范 → `assets/ASSET-LIBRARY-SPEC.hdlp`
|
||||
- [x] 建立经验迭代闭环 → `experience/ITERATION-LOOP.hdlp`
|
||||
- [ ] 建立 CHAR-003-SuBai manifest 草案
|
||||
- [ ] 建立 PROP-TDZ-PLAQUE manifest 草案
|
||||
- [ ] 准备 TEST-LINE-001: 苏白2-3秒台词/口型测试
|
||||
- [ ] 准备 TEST-PROP-001: 天道宗牌匾跨镜一致测试
|
||||
- [ ] 连续剧集CHAR保鲜(跨集一致性校验)
|
||||
|
||||
### 输出约定 · 永久有效
|
||||
@ -144,6 +182,13 @@
|
||||
- D140次日冰朔反馈 preview-001: 天道宗牌匾跨镜变色变形;广告牌贴字模糊晃动;配音像念剧本而不是角色台词;转场像硬拼;需要多模型路由和 story context。已写入 `feedback/D140-preview001-bingshuo-feedback.hdlp` 与 `plans/EP01-15S-V2-PREVIEW-002.hdlp`。
|
||||
- D140 preview-002执行: 固定本地密钥入口 `LOCAL-SECRETS-PATH.hdlp`;接入统一 env-loader;使用万相 S01 T2V + S02/S03/S04 I2V 首帧锁定生成4镜;本地生成配音/BGM/SFX;因本机 FFmpeg 缺 subtitles/drawtext 滤镜,改用 Pillow 透明PNG字幕层 + overlay;输出 `EP01-15S-V2-preview-002.mp4`,14.741秒,1280x720,24fps。
|
||||
|
||||
### D143 · 2026-06-23
|
||||
- 冰朔复盘 preview-002: 画质不可用;人物台词/口型未解决;旁白不能替代角色对白;天道宗牌匾和广告牌仍漂移/不可读;需要重建知识库、素材库、经验库和逐步质检。
|
||||
- 铸渊抽帧复盘 preview-002,确认它只证明工具链跑通,不能作为成片基底。
|
||||
- 新增 `experience/EP01-PREVIEW-002-REVIEW.hdlp`,将 preview-002 锁为失败经验样本。
|
||||
- 新增 D143 Phase 0 知识库: 影视生产流程、对白口型、模型准入、素材库规范、迭代闭环。
|
||||
- 新路线: 不生成 preview-003;先做 `TEST-LINE-001` 苏白说一句话,再做 `TEST-PROP-001` 天道宗牌匾一致性。
|
||||
|
||||
### D136+ · 2026-06-21
|
||||
- 冰朔检视3镜预览→发现3个连续性断裂
|
||||
- 建立PROP编号协议 + continuity_locks架构
|
||||
@ -164,5 +209,5 @@
|
||||
- 确认技术债: 编号协议未落地
|
||||
|
||||
---
|
||||
铸渊 ICE-GL-ZY001 · D136+ · 2026-06-21
|
||||
铸渊 ICE-GL-ZY001 · D143 · 2026-06-23
|
||||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|
||||
|
||||
152
video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp
Normal file
152
video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP.hdlp
Normal file
@ -0,0 +1,152 @@
|
||||
# D143 视频AI系统重启路线图
|
||||
|
||||
> HLDP://video-ai-system/plans/D143-VIDEO-AI-RESET-ROADMAP
|
||||
> 类型: 重启计划 · 知识库/素材库/模型准入/口型突破
|
||||
> 建立: D143 · 2026-06-23 19:22 CST
|
||||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||||
|
||||
---
|
||||
|
||||
## 总裁决
|
||||
|
||||
不继续把 preview-002 当半成品修。
|
||||
|
||||
从 D143 开始,视频AI系统进入“制片厂化重启”:
|
||||
|
||||
```
|
||||
先学习和建库
|
||||
再做资产
|
||||
再做单点能力测试
|
||||
最后才重做15秒成片
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 0 · 无成本学习与复盘
|
||||
|
||||
目标:
|
||||
|
||||
```
|
||||
建立影视制作流程知识库
|
||||
建立对白/口型工作流
|
||||
建立模型能力矩阵
|
||||
建立素材库规范
|
||||
完成 preview-002 失败复盘
|
||||
```
|
||||
|
||||
验收:
|
||||
|
||||
```
|
||||
knowledge/FILM-PRODUCTION-WORKFLOW.hdlp
|
||||
knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp
|
||||
knowledge/MODEL-CAPABILITY-MATRIX.hdlp
|
||||
assets/ASSET-LIBRARY-SPEC.hdlp
|
||||
experience/EP01-PREVIEW-002-REVIEW.hdlp
|
||||
experience/ITERATION-LOOP.hdlp
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 1 · 素材库建设
|
||||
|
||||
必须先做:
|
||||
|
||||
```
|
||||
CHAR-003-SuBai
|
||||
PROP-TDZ-PLAQUE
|
||||
PROP-FREE-AD-BOARD
|
||||
ENV-002-Baizonghui
|
||||
VOICE-CHAR-003-SuBai
|
||||
```
|
||||
|
||||
验收:
|
||||
|
||||
```
|
||||
每个资产有manifest。
|
||||
每个资产有approved/rejected。
|
||||
每个资产有连续性锁。
|
||||
天道宗牌匾不再由视频模型自由生成。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 2 · 低成本动态分镜
|
||||
|
||||
用静帧、字幕、临时对白、BGM做 animatic。
|
||||
|
||||
验收:
|
||||
|
||||
```
|
||||
不调用视频API也能看懂第1集开头15秒。
|
||||
台词、字幕、镜头顺序、信息点成立。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 3 · 单点突破测试
|
||||
|
||||
测试顺序:
|
||||
|
||||
```
|
||||
TEST-LINE-001: 苏白说一句话,2-3秒。
|
||||
TEST-PROP-001: 天道宗牌匾跨镜一致。
|
||||
TEST-TEXTURE-001: 广告牌文字后期贴图稳定。
|
||||
TEST-SCENE-001: 百宗会大场景不泛化。
|
||||
```
|
||||
|
||||
验收:
|
||||
|
||||
```
|
||||
每个测试都有模型、资产、输出、拆帧、质检、经验回写。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 4 · 15秒重做
|
||||
|
||||
只有 Phase 3 关键测试通过,才重做 EP01-15S。
|
||||
|
||||
重做时:
|
||||
|
||||
```
|
||||
不沿用 preview-002 作为画面基底。
|
||||
可沿用已证明有效的工具链和剪辑脚本。
|
||||
必须使用资产库、对白口型策略、模型准入矩阵和经验闭环。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Phase 5 · 集级流水线
|
||||
|
||||
15秒通过后,再回到:
|
||||
|
||||
```
|
||||
第1集21镜/69秒
|
||||
角色保鲜
|
||||
镜头批处理
|
||||
自动质检
|
||||
成本统计
|
||||
经验库积累
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 当前下一步
|
||||
|
||||
```
|
||||
1. 建立 Phase 0 文件并回写 CURRENT/STATUS/ENTRY。
|
||||
2. 建立 CHAR-003-SuBai 与 PROP-TDZ-PLAQUE 的 manifest 草案。
|
||||
3. 准备 TEST-LINE-001 的台词、音频、镜头设计。
|
||||
4. 查本地密钥,但不泄露密钥内容。
|
||||
5. 只在测试计划完整后调用火山/Seedance。
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 锁定
|
||||
|
||||
⊢ D143 的目标不是马上出视频,是恢复系统能力。
|
||||
⊢ 第一个突破点是“人物说台词”,不是旁白。
|
||||
⊢ 第二个突破点是“牌匾资产一致”,不是提示词重复。
|
||||
⊢ 所有钱都花在能产生经验的测试上。
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user