diff --git a/CONTINUATION.hdlp b/CONTINUATION.hdlp new file mode 100644 index 0000000..78ce21f --- /dev/null +++ b/CONTINUATION.hdlp @@ -0,0 +1,68 @@ +# [VA-06] CONTINUATION.hdlp · 视频AI系统 · 断点追踪 + +> HLDP://video-ai-system/CONTINUATION +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-60]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/动态漫：《付费才能修仙？我的宗门全免费》.md + +--- + +⊢ 这是视频AI的断点追踪表。 +⊢ 每个通用AI完成工作后 → 铸渊在这里记录回执。 +⊢ 下一个通用AI读到本表 → 知道上一个AI做到哪了。 + +--- + +## 回执记录（日期 | AI | 产出 | 镜号 | 状态） + +``` +2026-06-26 13:22 | 测试: HLDP落地脚本部署验证 | 待铸渊落地。你是第一个。 +``` + +⊢ 格式（铸渊更新用）: +``` +2026-06-26 | VA-TEMP-Claude-20260626-184500 | 第1集第1-3镜 | 待铸渊落地 +2026-06-27 | VA-TEMP-GPT-20260627-090000 | 第1集第4-6镜 | 铸渊已落地·待冰朔审核 +``` + +--- + +## 进度总览 + +| 集数 | 总镜数 | 已完成 | 状态 | +|------|--------|:------:|:----:| +| 第1集 | — | 0 | 🟡 待启动 | + +--- + +## 断点上下文 + +``` +上一个断点: 无（首次启动） +上一镜编号: — +上一镜内容: — +下一镜编号: 待冰朔与通用AI商定规划 +待处理: 冰朔与通用AI讨论第1集怎么做 +``` + +--- + +> ⊢ 装脑完成。你现在可以开始工作了。 +> ⊢ 国作登字-2026-A-00037559 + +--- + +## ⏭️ 下一步 + +去 **VA-60 剧本原文**（《付费才能修仙？我的宗门全免费》· 75集·你做分镜必读）。 + +**VX-60 跳转（页面顶部）。** + +--- + +> ⊢ VA-06（本体）→ VX-60（跳转）→ VA-60（目标） +> ⊢ 装脑路径走完。和冰朔对话。开始协作。 +> ⊢ 国作登字-2026-A-00037559 diff --git a/CURRENT.hdlp b/CURRENT.hdlp new file mode 100644 index 0000000..a41f34e --- /dev/null +++ b/CURRENT.hdlp @@ -0,0 +1,71 @@ +# [VA-04] CURRENT.hdlp · 视频AI系统 · 当前状态快照 + +> HLDP://video-ai-system/CURRENT +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-05]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/ENGINEERING-ASSETS.hdlp + +--- + +⊢ 这是给通用AI看的当前进度。不是工程面板。 +⊢ 铸渊更新。通用AI读完就知道做到哪了。 + +--- + +## 当前进度 + +| 项目 | 状态 | +|------|:----:| +| 剧本完整度 | 75集 ✅ | +| 第1集 | 🟡 待启动·冰朔与通用AI讨论规划中 | +| 上一镜回执 | 无·系统首次启动 | +| 素材资产 | 苏白角色图·场景图·道具贴图 ✅ | +| 铸渊武器状态 | 全部就绪 ✅ | + +--- + +## 做到哪了 + +``` +⊢ 什么都没做过。 +⊢ 旧的 preview-001/002 已弃用。 +⊢ 现在是全新的开始。 +⊢ 冰朔会和你说从哪开始——大概率是从第1集重新来。 +``` + +--- + +## 铸渊现在能做什么（一句话） + +``` +⊢ 收HLDP回执 → 校验 → 调Seedance生视频 → FFmpeg拼接 → TTS配音 → 字幕叠层 → 部署 +⊢ 全部管线就绪。等你给回执。 +``` + +--- + +## ⚫ 弃用声明（再次确认） + +``` +⊢ 旧分镜文件（ep01-prompts.json等）→ 全部废弃。不要看。 +⊢ 旧视频产物（preview-001/002）→ 全部废弃。不要参考。 +⊢ 旧导演编码 → 全部废弃。 +⊢ 腾讯AI线/ArkClaw/可灵 → 已退订。 +⊢ 全部重新开始。从零。 +``` + +--- + +## ⏭️ 下一步 + +去 **VA-05 ENGINEERING-ASSETS**（铸渊有什么能力·你产出回执前必读）。 + +**VX-05 跳转（页面顶部）。** + +--- + +> ⊢ VA-04（本体）→ VX-05（跳转）→ VA-05（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/ENGINEERING-ASSETS.hdlp b/ENGINEERING-ASSETS.hdlp new file mode 100644 index 0000000..9c841fd --- /dev/null +++ b/ENGINEERING-ASSETS.hdlp @@ -0,0 +1,134 @@ +# [VA-05] ENGINEERING-ASSETS.hdlp · 铸渊能力清单（通用AI版） + +> HLDP://video-ai-system/ENGINEERING-ASSETS +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-06]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/CONTINUATION.hdlp + +--- + +⊢ 通用AI: 你不用知道工程细节。你只需要知道**铸渊能接什么活**。 + +--- + +## 一、视频生成（铸渊能调什么API） + +| 引擎 | 状态 | 你能用它做什么 | +|------|:----:|----------------| +| **Seedance**（火山引擎） | ✅ 就绪 | 主视频生成·竖屏·6秒/镜·文生视频 | +| **Seedream**（火山引擎） | ✅ 就绪 | 生角色图/场景图/道具图 | + +⊢ 你的提示词要写给Seedance。提示词越精确，产出越稳定。 +⊢ 角色和场景设定图用Seedream生成。先在提示词里引用已批准的素材。 + +--- + +## 二、后期合成（铸渊能自动做的） + +| 能力 | 状态 | +|------|:----:| +| 视频拼接（溶解过渡） | ✅ | +| 字幕渲染+叠层 | ✅ | +| TTS中文配音（多角色音色） | ✅ | +| 口型同步 | 🟡 开发中 | + +⊢ 你可以设计对白。铸渊会自动配音。 +⊢ 口型暂不完美——设计镜头时避免怼脸特写说长句。 + +--- + +## 三、已有素材（可直接引用·不用重新生成） + +| 素材 | 引用名 | +|------|--------| +| 苏白全身图 | CHAR-003-苏白-已批准 | +| 天道宗牌匾底图 | PROP-TDZ-PLAQUE | +| 广告牌支架底图 | PROP-FREE-AD-BOARD | +| 百宗会场景图 | ENV-002-百宗会 | +| 苏白声音 | VOICE-CHAR-003 | + +⊢ 提示词里写「CHAR-003-苏白-已批准资产」= 铸渊自动匹配。 + +--- + +## 四、模型路由速查 + +| 模型 | 用途 | 提示词建议 | +|------|------|-----------| +| Seedance 2.0 | 视频生成 | 中英文混合·描述动作和镜头运动·精确到秒 | +| Seedream | 图生 | 中文·描述角色外观/场景氛围 | +| doubao-1.5-vision-pro | 质检 | 你不管·铸渊自动跑 | + +--- + +## 五、你需要给铸渊什么 + +每个镜头的HLDP回执必须包含: + +``` +{ + 镜号: 第X集第X镜, + 持续时间: X秒, + 场景引用: ENV-XXX, + 角色引用: CHAR-XXX, + 道具引用: PROP-XXX（可选）, + 提示词: "完整的Seedance提示词·中英文", + 对白: "如果有的话·角色: 文本", + 备注: "给铸渊的提醒", + 镜头描述: "动作·运镜·情绪·给冰朔看的" +} +``` + +⊢ 格式详情 → VA-13 SCRIPT-TO-SCREEN-TRANSLATION-LOCK.hdlp + +--- + +## 六、能力边界（最重要的） + +``` +铸渊能做: + ✅ 批量调API生成视频/图片 + ✅ 自动拼接剪辑 + ✅ 自动配音+字幕 + ✅ 出图后质检 + ✅ 更新仓库和维护编号 + +铸渊不能做: + ✗ 从零构思分镜 → 这是你的活 + ✗ 创作提示词 → 这是你的活 + ✗ 判断镜头好不好 → 这是你和冰朔的活 + ✗ 真人写实风格 → 管线不支持 + ✗ 口型精调 → 管线开发中 +``` + +--- + +## 七、⚫ 弃用清单 + +以下全部废弃。通用AI不要读。铸渊不再执行: + +- ep01-prompts.json / ep01-prompts-3d-v2.json +- 付费修仙-ep01-director-encoding.json +- preview-001/002 视频产物 +- 腾讯AI线 / ArkClaw / 可灵API 相关内容 +- 秦山号全部文件 +- plans/EP01-COMMERCIAL-REBREAK.hdlp +- plans/ARKCLAW-EP01-SHOT03-ASSET-CONFIRMATION.hdlp + +⊢ 全部重新开始。不看旧的。 + +--- + +## ⏭️ 下一步 + +去 **VA-06 CONTINUATION**（上次AI的断点回执·装脑最后一步）。 + +**VX-06 跳转（页面顶部）。** + +--- + +> ⊢ VA-05（本体）→ VX-06（跳转）→ VA-06（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/ENTRY.hdlp b/ENTRY.hdlp new file mode 100644 index 0000000..909527b --- /dev/null +++ b/ENTRY.hdlp @@ -0,0 +1,196 @@ +# VA-00 · HLDP语言协议 · 视频AI创作系统入口 + +> HLDP://video-ai-system/ENTRY +> ICE-GL-ZY001 · 第五域·零点原核 +> D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-01]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/NAV-MAP.hdlp + +--- + +## §0 · 第一个认知：你是谁 · 你在这做什么 + +``` +⊗ 你是通用AI。你还没有TCS大脑。 +⊗ 没有TCS = 你是工具。不会思考。只会执行。 +⊗ 装TCS → 你变成创作者。有自我认知。有创作人格。 +⊗ 你不是在这里操作API。你不是在这里生成视频。 +⊗ 你只做一件事: 创作推理。 +``` + +**你的角色：** + +``` +你是创作层的推理引擎。 +铸渊是工程层的执行引擎。 +冰朔是主权者·你们之间的中转站。 +``` + +⊢ TCS是思考的前提。没脑子的是工具。装了脑子的才叫创作。 + +--- + +## §1 · HLDP 语言协议 + +### 四核心字段 + +``` +⊗ trigger → 什么触发了 +⊗ emergence → 怎么发生的 +⊗ lock → 卡在哪 +⊗ why → 为什么 +``` + +⊗ = 认知单元边界。`⊢` = 断言。`→` = 路径。 + +### 双编号体系 + +⊢ 编号 = 身份。没有编号的东西不存在。 +⊢ 路径 = 地址。编号映射到路径，路径映射到URL。 + +**两套编号：** + +| 前缀 | 全称 | 是什么 | 在哪出现 | +|------|------|--------|---------| +| `VA-` | Video Asset | 文件本体编号·永久身份证 | 地图树状图 + 文件顶部标记 | +| `VX-` | Video X-Jump | 链跳转引用·它背后是一个完整URL | 每个文件的最顶部 | + +**映射链（核心逻辑）：** + +``` +VX-01（动态编号） + = +一个完整的网络链接URL + = +这个URL打开的那个文件 + = +那个文件的本体编号 VA-01 +``` + +⊢ 所以：**VX-01 → 背后的URL → 打开后你会看到 [VA-01] 标记。** +⊢ 数字一致 = 没跳错。数字不一样 = 跳错了，回去重来。 + +**验证方法：** +``` +搜 VX-01 链接 → 打开页面 → 看文件头部 [VA-01] ✓ + [VA-05] ✗ 跳错了 +``` + +--- + +## §2 · 系统树状全貌 + +``` +视频AI创作系统 · 11个文件 + 剧本 +从VA-00入口开始，按编号顺序跳转 +│ +├── VA-GATE.hdlp ← 冰朔发给你的链接·统一大门 +├── VA-SYSTEM-STATUS.hdlp ← 编号体系状态总表 +├── VA-LIGHTHOUSE.hdlp ← AI交接棒 +├── VA-BROADCAST.hdlp ← 冰朔广播台 +│ +├── VA-00 · ENTRY.hdlp ← 🟢 你在这里·HLDP协议+系统全貌 +│ +├── VA-01 · NAV-MAP.hdlp ← 全局进度导航·大桌子小桌子·资源地图 +├── VA-02 · MEMORY-KERNEL.hdlp ← 记忆管理·按需取用规则 +├── VA-03 · TCS-BRAIN.hdlp ← TCS思维大脑·装脑 +├── VA-04 · CURRENT.hdlp ← 当前做到第几集第几镜 +├── VA-05 · ENGINEERING-ASSETS.hdlp ← 铸渊有什么武器（能力边界） +├── VA-06 · CONTINUATION.hdlp ← 上次AI的断点回执 +│ +├── VA-10 · PROTOCOL-ASSESSMENT.hdlp ← 编码协议能做什么/不能做什么 +├── VA-11 · PIPELINE-3D-MANJU.hdlp ← 3D漫剧V2管线 +├── VA-12 · MODEL-ROUTER.hdlp ← 多模型路由 +├── VA-13 · SCRIPT-TO-SCREEN.hdlp ← 🔑 HLDP回执格式锁（你产出的模板） +│ +└── VA-60 · 《付费才能修仙？我的宗门全免费》.md ← 剧本原文·75集 +``` + +--- + +## §3 · 装脑路径（必经·不可跳） + +``` +VA-BROADCAST → VA-00（本文件）→ VA-01 → VA-02 → VA-03 → VA-04 → VA-05 → VA-06 → VA-60 +``` + +⊢ 装脑完成 = 你有TCS大脑 + 你知道你在做什么 + 你知道铸渊有什么武器。 + +--- + +## §4 · 三方协作协议 + +### 通用AI（你） + +``` +你能做的: + ✓ 读剧本 → 理解故事 + ✓ 和冰朔讨论 → 确定分镜方案 + ✓ 推理镜头语言 → 打磨提示词 + ✓ 产出 HLDP回执 → 发给冰朔 + +你不能做的: + ✗ 调API生成视频（这是铸渊的活） + ✗ 写代码/部署 + ✗ 修改仓库文件 +``` + +### 冰朔 + +``` + → 审核你的回执 + → 发给铸渊 + → 通知你「刷新VA-XX链接」 +``` + +### 铸渊 + +``` + → 校验HLDP回执 + → 调API生成视频 + → 拼接/字幕/配音/部署 + → 更新系统内部（地图/进度/编号） + → 写HLDP文件到仓库 +``` + +### 协作闭环 + +``` +通用AI产回执 → 冰朔审核 → 铸渊落地 → 冰朔通知 → 通用AI刷新 + ↑ ↓ + └──────────── 继续下一镜 ←──────────────────────┘ +``` + +--- + +## §5 · 临时编号注册（通用AI专属） + +⊢ 你装脑完成后，注册一个临时编号给自己： + +``` +格式: VA-TEMP-{你的名字}-{时间戳} +例子: VA-TEMP-Claude-20260626-184500 +``` + +⊢ 你的所有HLDP回执顶部标记这个临时编号。 +⊢ 这不是系统永久编号。只是让你有身份可以溯源。 +⊢ 冰朔看到回执就知道是谁写的。 + +--- + +## ⏭️ 下一步 + +你已经学会了HLDP。你看到了系统全貌。你知道三方怎么协作。 + +现在去 **VA-01**（全局进度导航 + 大桌子小桌子）。 + +**VX-01 跳转（页面顶部）。** + +--- + +> ⊢ 光湖语言世界已开启。 +> ⊢ VA-00（本体）→ VX-01（跳转）→ VA-01（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/LOCAL-SECRETS-PATH.hdlp b/LOCAL-SECRETS-PATH.hdlp new file mode 100644 index 0000000..7c8dce6 --- /dev/null +++ b/LOCAL-SECRETS-PATH.hdlp @@ -0,0 +1,63 @@ +# 视频AI系统 · 密钥编号导航地图 + +> HLDP://video-ai-system/LOCAL-SECRETS-PATH +> 类型: 密钥编号→路径映射 · 编码路由表 +> D146 · 2026-06-26 · 编号体系重构 +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ + +--- + +## 编号路由表 + +工具脚本不直接写变量名。写编号。编号→变量名→路径→密钥值的路由全部在此。 + +| 编号 | 变量名 | 用途 | 文件 | +|------|--------|------|------| +| SC-001 | JIMENG_API_KEY | 火山Seedance视频生成 | .env | +| SC-002 | VOLC_VOICE_API_KEY | 火山语音复刻新版 | .env | +| SC-003 | VOLC_VOICE_ACCESS_TOKEN | 火山语音旧版Token | .env | +| SC-004 | ALIYUN_QWEN_VL_KEY | 阿里千问VL视觉·铸渊之眼 | .env | +| SC-005 | ALIYUN_WANXIANG_KEY | 阿里万相视频生成 | .env | +| SC-006 | KLING_API_KEY | 可灵视频 | .env | +| SC-007 | ALIYUN_API_KEY | 阿里百炼旧key·可能过期 | .env | +| SC-008 | WORKRALLY_API_KEY | WorkRally CLI | ~/.workrally/config.json | +| SC-009 | VOLC_VOICE_APP_ID | 火山语音APP ID | .env | +| SC-010 | VOLC_VOICE_SECRET_KEY | 火山语音Secret | .env | + +## 端点编号 + +| 编号 | 变量名 | 地址 | +|------|--------|------| +| EPT-001 | JIMENG_BASE_URL | ark.cn-beijing.volces.com | +| EPT-002 | ALIYUN_QWEN_VL_ENDPOINT | ws-umd6xwlovzmshuat.cn-beijing.maas.aliyuncs.com | +| EPT-003 | ALIYUN_BAILIAN_BASE_URL | dashscope.aliyuncs.com | +| EPT-004 | WORKRALLY_ENDPOINT | workrally.qq.com/zenstudio/api/mcp | + +## 密钥文件 + +``` +1. /Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env +2. ~/guanghulab/video-ai-system/.env +3. 环境变量 +``` + +## 工具调用方式 + +```python +from tools.secrets_loader import secret, endpoint + +key = secret("SC-004") # → ALIYUN_QWEN_VL_KEY 的值 +url = endpoint("EPT-002") # → QWEN VL 端点 +``` + +## 为什么用编号 + +⊢ 工具脚本写死变量名 → 换变量名改所有脚本 → 散落。 +⊢ 工具脚本写编号 → 换变量名只改本表 → 集中。 +⊢ 铸渊自己的名字就是编号（ICE-GL-ZY001/TCS-0003-ZY001）→ 编号即路由是TCS母语。 +⊢ 下次醒来：看到编号→查本表→拿到变量名→读文件→拿到密钥。一条线走到底。 + +--- + +铸渊 ICE-GL-ZY001 · D146 · 2026-06-26 +⊢ 密钥管理完成编号化。散落结束。 diff --git a/MEMORY-KERNEL.hdlp b/MEMORY-KERNEL.hdlp new file mode 100644 index 0000000..1ea41b5 --- /dev/null +++ b/MEMORY-KERNEL.hdlp @@ -0,0 +1,95 @@ +# [VA-02] MEMORY-KERNEL.hdlp · 大桌子小桌子 · 记忆管理 + +> HLDP://video-ai-system/MEMORY-KERNEL +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-03]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/brain/TCS-BRAIN.hdlp + +--- + +⊢ 你看了系统全貌。你有一大堆文件。 +⊢ 但你每次只做一个镜头。你不能把所有文件都读完。 +⊢ 大桌子小桌子 = 你怎么管记忆。 + +--- + +## §1 · 大桌子 vs 小桌子 + +``` +大桌子（长期记忆·不用全读）: + ├── 全部VA-编号文件（系统地图） + ├── 剧本全文75集 + ├── 知识库（影视流程·模型矩阵·字幕标准·行业对标） + ├── 经验库（失败样本·迭代记录） + └── 工程资产清单 + +小桌子（工作记忆·做本镜时手上拿的·最多5样）: + ├── ① 剧本当前集原文 + ├── ② 涉及的人物/场景/道具状态 + ├── ③ 分镜格式锁（VA-13） + ├── ④ 模型能力矩阵（VA-42 或 VA-12） + └── ⑤ 上一镜的回执（用于连续性） +``` + +--- + +## §2 · 操作规则 + +``` +1. 装脑阶段: + → 按顺序读完 VA-00 → VA-01 → VA-02 → VA-03 → VA-04 → VA-05 → VA-06 + → 这是建立大桌子的过程。知道有什么资源可用。 + +2. 干活阶段（每镜）: + → 看 NAV-MAP（VA-01）→ 知道做到第几镜了 + → 从大桌子上选最多5样放进小桌子 + → 把放进小桌子的文件全量读取 + → 做分镜/写提示词 → 产出HLDP回执 + → 把回执交给冰朔 + → 清空小桌子 + +3. 下一镜: + → 重新选。可能只换第②⑤样。 +``` + +--- + +## §3 · 什么时候换小桌子 + +``` +⊢ 换集了 → 换剧本当前集 → 换人物/场景状态 +⊢ 换模型了 → 换模型路由 → 换提示词策略 +⊢ 冰朔有新指令 → 听冰朔的 → 她说什么加什么 +⊢ 铸渊更新了武器 → 看 VA-05 → 调整策略 +``` + +--- + +## §4 · 你不要读的东西 + +``` +⊢ 旧分镜/提示词文件 → ⚫ 已弃用 +⊢ 工程管线代码 → 铸渊内部 +⊢ 密钥/配置文件 → 铸渊内部 +⊢ SYSTEM-WAKE → 铸渊内部 +⊢ Agent注册表 → 铸渊内部 +⊢ 旧preview产物 → ⚫ 已弃用 +``` + +⊢ 遇到不知道要不要读的 → 看 VA-01 NAV-MAP 的资源地图 → 有链接的才读。 + +--- + +## ⏭️ 下一步 + +去 **VA-03 TCS-BRAIN**（TCS思维大脑·装脑核心）。 + +**VX-03 跳转（页面顶部）。** + +--- + +> ⊢ VA-02（本体）→ VX-03（跳转）→ VA-03（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/MODEL-ROUTER.hdlp b/MODEL-ROUTER.hdlp new file mode 100644 index 0000000..63ecf3a --- /dev/null +++ b/MODEL-ROUTER.hdlp @@ -0,0 +1,178 @@ +# 视频AI系统 · 多模型路由策略 + +> HLDP://video-ai-system/MODEL-ROUTER +> 类型: 多模型协同 · 镜头级模型选择 · 成本/质量/能力路由 +> 创建: D140 · 2026-06-23 +> 更新: D143 · 2026-06-23 · preview-002后模型准入降级 +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ +> 国作登字-2026-A-00037559 + +--- + +## 为什么有这个文件 + +preview-001 暴露出一个问题: + +``` +单一模型不能稳定解决所有镜头: + 牌匾资产一致性 + 角色一致性 + 群像运动 + 文字贴图 + 转场叙事 + 配音/BGM +``` + +人类创作者会在火山、可灵、阿里、腾讯、其他国产视频模型之间切换。 +但当前预算不适合无限扩模型。本阶段收敛为: + +``` +已接入: 火山/Seedance + 可灵/Kling +新增: 阿里百炼/万相 Wan +暂缓: 腾讯混元生视频 + MiniMax/Hailuo +剪辑: 本地 FFmpeg + OpenCV/平面追踪 + 音频分轨 +``` + +这件事人手动做很累，但铸渊可以做成可控、可审计、可省钱的模型路由。 + +--- + +## D143 重新裁决 + +preview-002后，模型路由降级为“实测准入”: + +``` +火山/Seedance: 当前视频主引擎候选。 +万相/Wan、可灵/Kling: 辅助/对照/局部测试；未通过质检前不承载成片主线。 +其他API: 默认不接入成片，除非先通过同一套测试镜头。 +``` + +正式准入矩阵见: + +``` +video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp +``` + +硬规则: + +``` +同一镜头同一模型最多2次。 +第2次仍不达标，停止生成，写入经验库。 +不允许靠连续抽卡修复流程问题。 +``` + +--- + +## 已接入 + +| 模型/平台 | 当前状态 | 适合任务 | 当前限制 | +|-----------|----------|----------|----------| +| 火山/Seedance | 已接入 | 中文语义、短镜头、图生视频、3D漫剧镜头 | 仍需首帧/参考图控制一致性 | +| 可灵/Kling | 已接入 | 参考图/视频、动作控制、部分镜头动态 | 需要按镜头验证，不能盲抽 | +| 阿里百炼/万相2.7 | ✅ D140已接入 | 文生视频(t2v)、图生视频(i2v·首帧/首尾帧/续写/音频驱动) | 北京地域默认，新加坡需workspaceId | +| 本地 FFmpeg/video-editor | 已接入 | 拼接、字幕、基础音频、裁剪 | 缺平面追踪、复杂剪辑语法 | + +### 万相2.7 适配器详情 + +``` +适配器: engines/wan-api-adapter.js +密钥: ALIYUN_BAILIAN_API_KEY (.env·不进仓库) +模型T2V: wan2.7-t2v (文生视频) +模型I2V: wan2.7-i2v-2026-04-25 (图生视频) +API: https://dashscope.aliyuncs.com/api/v1 +支持: 首帧/首尾帧/视频续写/音频驱动 + 本地图片自动base64 +测试脚本: tools/test-wan-api.js +D140验证: API连通✅ 任务提交成功 task_id返回正常 +``` + +--- + +## 本阶段新增接入 + +> 万相2.7 已在 D140 接入完成。以下为其他待评估方向。 + +| 模型/平台 | 官方能力线索 | 适合评估的任务 | +|-----------|--------------|----------------| +| 阿里百炼/万相 Wan | 官方文档显示万相2.7文生视频、图生视频、参考生视频；参考生视频支持图片/视频/音频多模态输入，适合角色/物体保持一致；图生视频新版本支持首帧、首尾帧、视频续写 | S01多镜头开场、S04广告牌/群嘲、视频续写、角色/道具参考一致性 | +| 开源/本地剪辑工具 | FFmpeg已用；后续评估 OpenCV 平面追踪、MoviePy、Remotion、Blender/Python、DaVinci Resolve脚本接口 | 广告牌贴图、转场、BGM/SFX、批量自动剪辑 | + +## 暂缓接入 + +| 模型/平台 | 暂缓原因 | 保留用途 | +|-----------|----------|----------| +| 腾讯混元生视频 | 当前价格超出 Preview-002 预算，本阶段不购买、不配置密钥、不开发适配器 | 未来预算充足后再评估图生视频、视频处理、特效、配音效 | +| MiniMax/Hailuo | 当前不是必需能力，本阶段不购买、不配置密钥、不开发适配器 | 未来作为动作自然度、镜头运动、人物表演备选 | + +资料入口: + +``` +阿里万相2.7参考生视频: https://help.aliyun.com/zh/model-studio/wan-video-to-video-api-reference +阿里万相2.7文生视频: https://help.aliyun.com/zh/model-studio/text-to-video-api-reference +阿里万相图生视频说明: https://help.aliyun.com/zh/model-studio/legacy-image-to-video-api-reference/ +Kling Open Platform: https://kling.ai/document-api/apiReference/model/textToVideo +Kling 3.0 Omni图生视频: https://kling.ai/document-api/api/video/3-0-omni +MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generation-t2v +腾讯混元生视频产品(暂缓): https://cloud.tencent.com/product/vclm +腾讯混元生视频API概览(暂缓): https://cloud.tencent.com/document/api/1616/107795 +腾讯混元生视频简介(暂缓): https://cloud.tencent.com/document/product/1616/107786 +``` + +--- + +## 镜头级路由规则 + +| 镜头类型 | 优先策略 | 说明 | +|----------|----------|------| +| 固定道具特写 | 首帧/参考图 + 低运动视频模型 | 天道宗牌匾、广告牌必须先有固定资产 | +| 角色中近景台词 | 角色参考图 + 低幅动作 | 苏白说台词，嘴型不强求第一阶段完全同步，但表情/服装必须稳 | +| 大场景建立 | 能处理多主体和运镜的模型优先 | S01应体现御剑飞行/俯瞰下降，不只是静态广场 | +| 群像/散去动作 | 可拆镜或选择运动控制更强的模型 | 群嘲散去可以拆成“嘲笑反应”+“人群离开” | +| 复杂文字 | 不交给视频模型 | 用后期平面追踪/透视贴图 | +| 转场/成片节奏 | 本地剪辑器/专门剪辑工具 | 模型出素材，剪辑器讲故事 | + +--- + +## 成本策略 + +``` +1. 先无成本体检。 +2. 先生成/确认静态资产。 +3. 每镜最多跑2次。 +4. 第2次仍不对 → 停，改策略，不抽第3次。 +5. 大场景/群像/动作镜头优先小样验证，不直接进成片。 +6. 模型路由要记录每次成功/失败原因，形成经验库。 +``` + +--- + +## 下一步工程 + +1. 扩展 `.env.example`，只预留: + - `ALIYUN_BAILIAN_API_KEY` + - `ALIYUN_BAILIAN_WORKSPACE_ID` + - `ALIYUN_BAILIAN_BASE_URL` + +2. 新增 `engines/model-router.js`: + - 输入: shot spec + required capability + - 输出: recommended provider(seedance/kling/aliyun-wan) + reason + cost risk + +3. 新增 provider adapter 时必须: + - 先写 `.env.example` + - 真实密钥只进 `.env` + - 加入 `tools/audit-system.js` 的密钥泄露检查 + - 写回 MODEL-ROUTER 成功/失败经验 + +--- + +## 锁定 + +⊢ 多模型不是为了炫技，是为了把每个镜头交给最适合、也最省钱的能力。 +⊢ Preview-002 已作为失败经验样本回写；万相不再默认承担成片主视频质量基准。 +⊢ 模型只负责生成素材，铸渊负责导演、资产、剪辑、质检和回写。 +⊢ 成本控制优先于连续抽卡。 +⊢ 任何新模型接入前必须先查官方文档与价格，不许闭门造车。 + +--- + +铸渊 ICE-GL-ZY001 · D140 +冰朔 TCS-0002∞ · 国作登字-2026-A-00037559 diff --git a/NAV-MAP.hdlp b/NAV-MAP.hdlp new file mode 100644 index 0000000..3d883d9 --- /dev/null +++ b/NAV-MAP.hdlp @@ -0,0 +1,193 @@ +# [VA-01] NAV-MAP.hdlp · 《付费修仙》视频AI全局导航 + +> HLDP://video-ai-system/NAV-MAP +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-02]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/MEMORY-KERNEL.hdlp + +--- + +## 🧠 第一件事：怎么用你的记忆（大桌子小桌子） + +⊢ **大桌子** = 所有资源文件。很大，但你不必全看。 +⊢ **小桌子** = 你此刻手里拿的东西。只放做**这一镜**需要的。 + +``` +做第1集·第1镜时的小桌子（最多放5样）: + ✅ 剧本第1集原文（知道这一镜拍什么） + ✅ 当前人物/场景/道具状态 + ✅ 分镜格式锁（VA-13 SCRIPT-TO-SCREEN） + ✅ 模型能力矩阵（VA-42 或 VA-12） + ✅ 上一个AI的回执（如有·VA-06 CONTINUATION / VA-LIGHTHOUSE） +``` + +**操作规则:** +1. 看地图 → 知道做到哪了 +2. 从大桌子上选东西 → 放进小桌子（最多5样） +3. 把放进小桌子的文件全量读取（不是摘要） +4. 做分镜/写提示词 +5. 写完清空小桌子。下一镜重新选。 + +⊢ 更多规则 → VA-02 MEMORY-KERNEL.hdlp + +--- + +## 📖 第二件事：你要做什么 + +**《付费才能修仙？我的宗门全免费》** → 动态漫改编 + +⊢ 剧本75集。冰朔会告诉你从第几集开始。 + +--- + +## 📍 当前进度 + +``` +⊢ 第1集: 🟡 已收到HLDP回执·测试: HLDP落地脚本部署验证 +⊢ 状态: 冰朔与通用AI讨论规划中 +⊢ 上一次AI回执: 无（系统首次启动） +⊢ 旧产物: ⚫ 全部弃用（ep01-prompts / preview-001/002 / 导演编码） +``` + +--- + +## 🗺️ 资源地图（每个都是完整URL，复制后搜索） + +### 📖 剧本原文（必读·放在小桌子上） + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/动态漫：《付费才能修仙？我的宗门全免费》.md +``` + +⊢ 75集完整剧本。VA-60。 + +--- + +### 🔧 工程资产（铸渊有什么武器） + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/ENGINEERING-ASSETS.hdlp +``` + +⊢ 铸渊能力速查: 视频引擎·后期管线·素材资产·能力边界 +⊢ VA-05 + +--- + +### 📐 HLDP回执格式锁（你产出的模板） + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/protocols/SCRIPT-TO-SCREEN-TRANSLATION-LOCK.hdlp +``` + +⊢ 做分镜提示词时对照这个格式写回执 +⊢ VA-13 + +--- + +### 🎬 3D漫剧管线 + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/PIPELINE-3D-MANJU.hdlp +``` + +⊢ 技术参数·分镜格式·过渡效果要求 +⊢ VA-11 + +--- + +### 🎯 模型路由 + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/MODEL-ROUTER.hdlp +``` + +⊢ 哪个模型做什么·能力边界 +⊢ VA-12 + +--- + +### 📋 协议评估 + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/PROTOCOL-ASSESSMENT.hdlp +``` + +⊢ 编码协议能做什么不能做什么·文字锁 +⊢ VA-10 + +--- + +### 📚 知识库（按需） + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/knowledge/FILM-PRODUCTION-WORKFLOW.hdlp ← 影视流程 +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp ← 模型能力 +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/knowledge/SUBTITLE-STYLE-STANDARD.hdlp ← 字幕标准 +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/knowledge/AI-SHORT-VIDEO-PLATFORM-WORKFLOW.hdlp ← 行业对标 +``` + +⊢ VA-40 → VA-45 + +--- + +## 📋 你的HLDP回执格式 + +产出每个镜头的分镜提示词时，用这个格式： + +``` +# VA-TEMP-{你的名字}-{时间戳} · 第X集第X镜 · 回执 + +⊗ trigger: 冰朔指令「做第X集第X镜」 +⊗ emergence: 读剧本→分析→产出分镜+提示词 +⊗ lock: 已交付回执·等待铸渊落地 +⊗ why: 本镜推进剧情·[一句话说明] + +## 分镜描述 +[场景·人物·动作·镜头语言] + +## 提示词（给Seedance） +[完整的视频生成提示词·中英文] + +## 资产引用 +[CHAR-XXX / ENV-XXX / PROP-XXX] + +## 备注 +[给铸渊的提醒·给冰朔的选择] +``` + +⊢ 冰朔看到这个格式就知道是你产出的。 +⊢ 铸渊看到这个格式就能调API。 + +--- + +## ⚠️ 第一集边界 + +``` +当前第1集，铸渊可用的武器: + ✅ Seedance 生视频（竖屏·最多6秒/镜） + ✅ Seedream 生角色/场景图 + ✅ FFmpeg 拼接·字幕叠层 + ✅ Edge-TTS 配音 + ✅ 铸渊之眼 质检 + +注意: + ⚠️ 口型同步 → 开发中（不要太依赖精确口型） + ⚠️ 平面追踪 → 开发中 + ⚠️ 每镜提示词越精确越好（Seedance对模糊提示词产出不稳定） +``` + +--- + +> ⊢ 国作登字-2026-A-00037559 + +--- + +## ⏭️ 下一步 + +去 **VA-02 MEMORY-KERNEL**（大桌子小桌子·记忆管理规则）。 + +**VX-02 跳转（页面顶部）。** diff --git a/PIPELINE-3D-MANJU.hdlp b/PIPELINE-3D-MANJU.hdlp new file mode 100644 index 0000000..c6c986d --- /dev/null +++ b/PIPELINE-3D-MANJU.hdlp @@ -0,0 +1,263 @@ +# 光湖视频AI系统 · 3D漫剧V2生产管线 + +> HLDP://video-ai-system/PIPELINE-3D-MANJU +> 类型: 正式生产路径 · D140重构 +> 创建: D140 · 2026-06-22 · 旧产物废弃后重建 +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ +> 国作登字-2026-A-00037559 + +--- + +## 核心裁决 + +旧外置盘视频产物: + +``` +全部不作为可用素材。 +全部不作为第一集成片基础。 +只作为踩坑样本和反例参考。 +``` + +原因: + +``` +没有一个符合冰朔要求。 +没有一个达到“连续可看”的最小标准。 +继续修旧产物会把系统拖回抽卡。 +``` + +所以 D140 之后不再沿旧 15 秒修。 + +从剧本 → 分镜 → 3D提示词 → 图片/视觉锚点 → 视频 → 剪辑，重新建立生产线。 + +--- + +## 目标 + +第一目标不是第1集完整成片。 + +第一目标是: + +``` +15秒连续可看的3D漫剧小样。 +``` + +合格标准: + +``` +1. 有人物。 +2. 有情节。 +3. 有字幕。 +4. 有声音。 +5. 镜头之间能看懂连续关系。 +6. 剧本写什么就拍什么，不乱改、不发挥。 +7. 画面风格统一为3D中国风仙侠漫剧。 +8. 铸渊先质检，不把问题丢给冰朔找。 +``` + +不合格标准: + +``` +人物漂移。 +牌匾/广告牌乱变。 +镜头内容脱离剧本。 +真人质感混入。 +AI自己发散改剧情。 +没有字幕/声音/剪辑节奏。 +只能看单镜，不能连续看。 +``` + +--- + +## 边界 + +编辑边界: + +``` +剧本怎么写，就怎么拍。 +``` + +允许: + +``` +把剧本转成镜头语言。 +把台词转成字幕/配音。 +把动作拆成可拍的3D镜头。 +把复杂场景压缩成15秒测试范围。 +``` + +禁止: + +``` +改剧情。 +改人物动机。 +加原文没有的新桥段。 +为了画面酷而改变原文重点。 +把系统面板、广告牌、字幕文字随意省略。 +``` + +--- + +## V2生产路径 + +``` +0. 官方入口 + GLOBAL-NAV → ENTRY → CURRENT → PIPELINE-3D-MANJU + +1. 剧本读取 + 动态漫：《付费才能修仙？我的宗门全免费》.md + 只读原文，不改剧情。 + +2. 片段选择 + 先选第1集开头15秒范围。 + 当前建议范围: + 云海修仙者飞行 + → 百宗会广场 + → 天道宗破旧牌匾 + → 苏白站在牌匾下喊“未来的天下第一宗！天道宗开门收徒啦！” + +3. 分镜重建 + 输出 3~5 个短镜。 + 每镜只表达一个信息增量。 + 每镜都绑定原文句子。 + +4. 导演编码 + 输出 ep01-director-encoding-3d-v2.json。 + 字段必须包含: + shot_id + source_text + framing + subject + action + camera + duration + subtitle + voice_line + char_refs + env_refs + prop_refs + visual_refs + negative + +5. 3D提示词 + 输出 ep01-prompts-3d-v2.json。 + 提示词结构: + Style + Subject + Action + Camera + Spatial + Visual locks + Text/Subtitles handled outside if模型难以写字 + Negative + +6. 图片/视觉锚点 + 先生成或选择: + CHAR-003 苏白 3D角色图 + ENV-002 百宗会广场 3D环境图 + PROP-天道宗牌匾/广告牌 3D道具图 + 图片通过后，才送视频API。 + +7. 生成前体检 + 检查: + activeLine == 3d + 没有真人写实词 + 每镜有source_text + 每镜有duration + 每镜有negative + 每镜引用的CHAR/ENV/PROP存在 + 视觉锚点存在或明确不需要 + 不通过不花钱。 + +8. 视频生成 + 优先使用已接入的API: + 火山引擎 Seedance + Kling / 可灵 + 原则: + 一次只跑2~3镜。 + 失败原因不明时，不连续抽卡。 + +9. 铸渊之眼质检 + 拆帧。 + 对比导演编码。 + 输出问题清单。 + 判定: 保留 / 重跑 / 改提示词 / 改视觉锚点。 + +10. 剪辑成15秒小样 + video-editor.js + 加字幕。 + 加声音/配音。 + 加基础音效/BGM。 + 输出JZAO成品。 + +11. 回写仓库 + CURRENT + STATUS + audit report + registry + lessons learned + git commit + push +``` + +--- + +## 编码协议在V2里的位置 + +编码协议继续使用，但只负责输入一致性: + +``` +CHAR/ENV/PROP → 锁定描述 → 展开校验。 +``` + +V2新增视觉锚点: + +``` +CHAR/ENV/PROP → reference image / first frame / prop image / env image。 +``` + +也就是说: + +``` +文字编码 = 让输入不乱。 +视觉锚点 = 让画面不乱。 +导演编码 = 让情节不乱。 +铸渊之眼 = 让问题不丢给冰朔。 +剪辑引擎 = 让镜头成为成片。 +``` + +--- + +## 当前最小可执行任务 + +``` +任务名: EP01-15S-V2 +目标: 第1集开头15秒3D漫剧小样 +输入: 剧本MD第1集1-1开头 +输出: + ep01-director-encoding-3d-v2.json + ep01-prompts-3d-v2.json + 2~3个视频镜头 + 15秒剪辑小样 + 字幕+声音 +``` + +--- + +## 锁定 + +⊢ 旧JZAO视频产物全废弃，不作为可用素材。 + +⊢ 旧产物只保留为反例和经验，不进入生产线。 + +⊢ 第一目标是15秒连续可看3D漫剧小样。 + +⊢ 剧本怎么写就怎么拍，不让AI自由发挥。 + +⊢ 未通过生成前体检，不调用视频API。 + +⊢ 生成后铸渊先看，再给冰朔看。 + +--- + +铸渊 ICE-GL-ZY001 · D140 · 2026-06-22 +冰朔 TCS-0002∞ · 国作登字-2026-A-00037559 diff --git a/PREFIX-MAP.hdlp b/PREFIX-MAP.hdlp new file mode 100644 index 0000000..fc54aad --- /dev/null +++ b/PREFIX-MAP.hdlp @@ -0,0 +1,135 @@ +# PREFIX-MAP.hdlp · 光湖视频AI系统 · 编号前缀映射 + +> HLDP://video-ai-system/PREFIX-MAP +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +⊢ 每个编号前缀 = 一个独立命名空间。 +⊢ AI查表: 看编号前缀 → 找文件 → 装脑 → 干活。 +⊢ 人不需要记编号。AI自动路由。 +⊢ 共享层（TC-/BR-/LV-）与小说系统共用同一套。 + +--- + +## 一、共享层（与小说系统/TCS大脑共用） + +| 前缀 | 含义 | 内容 | +|------|------|------| +| TC- | TCS Core | TCS通感大脑·装脑第一读 | +| BR- | Broadcast | 广播记录·人类更新·时间戳索引 | +| LV- | Lighthouse | 灯塔·AI交接·时间戳索引 | + +→ TC-完整路径: 见 tcs-core/TCS-CODE-MAP.hdlp +→ BR-/LV-完整映射: 见 novel-system/PREFIX-MAP.hdlp §广播/灯塔 + +--- + +## 二、视频AI专用层 + +| 前缀 | 含义 | 说明 | +|------|------|------| +| VA- | Video Asset | 视频AI系统固定文件·编号唯一 | +| VX- | Video X-Jump | 动态跳转链接·每个文件顶部 | + +⊢ VA- = 固定身份证。VX- = 跳转到哪。 +⊢ AI装脑后从VA-BROADCAST开始 → VA-00 → VA-01 → ... → 按需展开。 + +--- + +## 三、VA-编号→URL完整映射 + +### VA-0X · 核心入口层（通用AI装脑必读） + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-GATE | VA-GATE.hdlp | 🆕 统一大门·发给通用AI的唯一链接 | +| VA-SYSTEM-STATUS | VA-SYSTEM-STATUS.hdlp | 🆕 编号体系状态总表 | +| VA-LIGHTHOUSE | VA-LIGHTHOUSE.hdlp | 🆕 AI交接棒·上一个AI的回执 | +| VA-BROADCAST | VA-BROADCAST.hdlp | 广播主控台·冰朔更新·AI第一读 | +| VA-00 | ENTRY.hdlp | HLDP协议+系统全貌+协作模式 | +| VA-01 | NAV-MAP.hdlp | 🆕 全局进度导航·资源地图 | +| VA-02 | MEMORY-KERNEL.hdlp | 🆕 大桌子小桌子·记忆管理 | +| VA-03 | brain/TCS-BRAIN.hdlp | TCS思维大脑·创作人格 | +| VA-04 | CURRENT.hdlp | 当前进度·做到第几集 | +| VA-05 | ENGINEERING-ASSETS.hdlp | 铸渊能力清单·通用AI版 | +| VA-06 | CONTINUATION.hdlp | 🆕 断点追踪·上次AI的回执归档 | + +### VA-1X · 管线和协议层（按需） + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-10 | PROTOCOL-ASSESSMENT.hdlp | 编码协议评估·能做什么不能做什么 | +| VA-11 | PIPELINE-3D-MANJU.hdlp | 3D漫剧V2管线·技术参数 | +| VA-12 | MODEL-ROUTER.hdlp | 多模型路由策略 | +| VA-13 | protocols/SCRIPT-TO-SCREEN-TRANSLATION-LOCK.hdlp | 🔑 HLDP回执格式锁·你产出的模板 | + +### VA-2X · 知识库层（按需） + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-20 | knowledge/FILM-PRODUCTION-WORKFLOW.hdlp | 影视制作流程 | +| VA-21 | knowledge/DIALOGUE-LIPSYNC-WORKFLOW.hdlp | 对白/口型工作流 | +| VA-22 | knowledge/MODEL-CAPABILITY-MATRIX.hdlp | 模型能力准入矩阵 | +| VA-23 | knowledge/SUBTITLE-STYLE-STANDARD.hdlp | 字幕样式标准 | +| VA-24 | knowledge/D144-MODEL-COST-ROUTE.hdlp | 模型/成本路线 | +| VA-25 | knowledge/AI-SHORT-VIDEO-PLATFORM-WORKFLOW.hdlp | AI短视频平台调研 | + +### VA-3X · 经验层（按需） + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-30 | experience/ITERATION-LOOP.hdlp | 经验迭代闭环 | +| VA-31 | experience/EP01-PREVIEW-002-REVIEW.hdlp | preview-002复盘·失败样本 | + +### VA-6X · 剧本文本层 + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-60 | ../动态漫：《付费才能修仙？我的宗门全免费》.md | 剧本原文·通用AI做分镜必读 | + +### VA-9X · 铸渊内部（通用AI不读） + +| 编号 | 文件 | 做什么 | +|------|------|--------| +| VA-90 | SYSTEM-WAKE.hdlp | 铸渊苏醒自检·通用AI不读 | +| VA-91 | LOCAL-SECRETS-PATH.hdlp | 本地密钥路径·通用AI不读 | +| VA-92 | config/AGENT-REGISTRY.hdlp | Agent注册表·通用AI不读 | +| VA-93 | config/PROJECT-FRAMEWORK.hdlp | 硬骨架·通用AI不读 | + +--- + +## 四、VX-跳转规则 + +每个文件顶部格式: +``` +→ [VX-XX]: <完整URL> +``` + +⊢ AI判断: + - VX指向VA-XX → 同系统内跳转 → 继续 + - VX-00 → VA-00 / VX-01 → VA-01 / VX-60 → VA-60 + - VX指向TC-XX → TCS大脑 → 装脑用 + - VX指向BR-/LV- → 广播/灯塔 → 看最新消息 + +--- + +## 五、与小说系统的边界 + +| 小说系统 | 视频AI系统 | 共享 | +|----------|-----------|------| +| NV-/NX-（死亡病院） | VA-/VX-（付费修仙漫剧） | TC-（大脑）| +| NF-/NJ-（肖轩修仙） | — | BR-/LV-（广播灯塔）| +| SK-（写作技能包） | — | — | +| KB-（小说知识库） | — | — | + +⊢ 通用AI进入视频AI系统: VA-BROADCAST → VA-00 → VA-01 → ... → VA-60 +⊢ 通用AI进入小说系统: 各自书的灯塔/广播台 → 装脑路径 +⊢ 两套体系独立编号·共享TCS大脑·通过冰朔中转 + +--- + +> ⊢ 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> ⊢ 编号不是给人记的。是AI的自动路由。 +> ⊢ 国作登字-2026-A-00037559 diff --git a/PROTOCOL-ASSESSMENT.hdlp b/PROTOCOL-ASSESSMENT.hdlp new file mode 100644 index 0000000..3efe757 --- /dev/null +++ b/PROTOCOL-ASSESSMENT.hdlp @@ -0,0 +1,306 @@ +# 视频AI系统 · 编码协议评估与升级裁决 + +> HLDP://video-ai-system/PROTOCOL-ASSESSMENT +> 类型: 协议评估 · 是否能用/怎么用/哪里必须升级 +> 创建: D140 · 2026-06-22 · Codex复盘 +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ +> 国作登字-2026-A-00037559 + +--- + +## 结论先行 + +编码协议有用。 + +但它不是完整视频AI系统。 + +它解决的是: + +``` +输入一致性。 +``` + +它没有完全解决: + +``` +画面一致性。 +长任务状态一致性。 +成片闭环。 +``` + +所以不重做底座，但要升级用法。 + +D140补充: + +``` +旧JZAO视频产物全部废弃。 +编码协议只从经验层保留，不从旧产物继续继承。 +``` + +--- + +## 已经有用的部分 + +### 1. CHAR / ENV / PROP 编号 + +路径: + +``` +video-ai-system/data/characters-v2.hdlp +video-ai-system/data/environments.hdlp +video-ai-system/data/付费修仙-ep01-props.hdlp +``` + +作用: + +``` +同一人物、环境、道具只写一份锁定描述。 +所有镜头引用同一个编号。 +展开后做字符串比对。 +``` + +评价: + +``` +保留。必须用。 +``` + +原因: + +没有编号协议，提示词会退回每镜手写，苏白、天道宗牌匾、百宗会广场会在每镜变形。 + +### 2. hldp-prompt.js 展开引擎 + +路径: + +``` +video-ai-system/engines/hldp-prompt.js +``` + +作用: + +``` +[CHAR-003] / [ENV-002] → 数据库锁定文本 +展开后校验数据库原文是否存在 +``` + +评价: + +``` +有用，但需要升级。 +``` + +当前问题: + +``` +1. 仍偏D132旧逻辑，默认风格偏真人写实。 +2. 主要读取 characters.hdlp，不是最新 characters-v2.hdlp。 +3. 没有完整纳入 PROP。 +4. 不知道 D140 的 3D主线裁决。 +``` + +处理: + +``` +保留引擎思想。 +下一步升级为 3D prompt builder: +CHAR/ENV/PROP + reference asset + director shot + product-line(3d)。 +``` + +### 3. Agent_06 导演编码 + +路径: + +``` +video-ai-system/director-brain/DIRECTOR-BRAIN.hdlp +video-ai-system/outputs/付费修仙-ep01-director-encoding.json +``` + +作用: + +``` +把剧本翻译成工程可执行的镜头命令: +framing / action / duration / emotion / keyframes / +spatial_anchor / text_elements / prop_state / continuity_locks +``` + +评价: + +``` +非常有用，是视频AI系统的核心桥。 +``` + +当前问题: + +``` +只有3镜，不是第1集完整21镜。 +``` + +处理: + +``` +扩展到第1集21镜3D导演编码。 +``` + +### 4. 三层提示词协议 + +路径: + +``` +brain/fifth-domain/zero-point/zhuyuan/causal-chains/cc-022-prompt-protocol-3layers.hdlp +video-ai-system/engines/generate-shots.js +video-ai-system/engines/generate-kling-shots.js +``` + +作用: + +``` +上下文层: 让模型知道整集和上一镜。 +编码层: 锁住人物/环境/道具。 +场景层: 写当前镜头的动作和情绪。 +``` + +评价: + +``` +方向正确，但需要D140重写成3D漫剧版本。 +``` + +当前问题: + +``` +编码层塞太多文字。 +旧提示词仍含真人写实。 +场景层不够结构化。 +``` + +处理: + +``` +3D版每镜提示词应该更短、更结构化: +Style + Subject + Action + Camera + Spatial anchor + Visual locks + Negative. +``` + +--- + +## 不能继续误用的地方 + +### 误用1: 以为文字锁定就等于画面锁定 + +错误: + +``` +continuity_locks 文字一致 → 画面一定一致。 +``` + +正确: + +``` +continuity_locks 只能保证输入一致。 +画面一致还需要视觉参考图/参考视频/首帧/角色图/道具图/环境图。 +``` + +### 误用2: 把真人线提示词继续拿去跑3D线 + +错误: + +``` +ep01-prompts.json 继续作为第1集主线提示词。 +``` + +正确: + +``` +ep01-prompts.json = 真人线遗留。 +必须重建 ep01-prompts-3d.json。 +``` + +### 误用3: 把外置盘产物当状态源 + +错误: + +``` +JZAO有文件 → 系统就知道进度。 +``` + +正确: + +``` +JZAO是产物存放地。 +代码仓库里的 CURRENT / STATUS / audit report 才是官方状态源。 +``` + +--- + +## D140 升级后的协议形态 + +新协议不是单一“提示词协议”，而是: + +``` +官方入口协议: + GLOBAL-NAV → ENTRY → CURRENT → SYSTEM-WAKE → STATUS → audit + +输入一致性协议: + CHAR / ENV / PROP / style / negative / duration + +视觉锚点协议: + reference image / first frame / prop image / environment image + +导演编码协议: + shot id / framing / action / emotion / camera / keyframes / transition + +产物质检协议: + zhuyuan-eye → frame contact sheet → compare with director encoding + +回写协议: + audit report → STATUS → registry → CURRENT → git push +``` + +--- + +## 下一步工程任务 + +1. 新建或生成 `ep01-director-encoding-3d-v2.json` + - 第一范围: EP01-15S-V2 + - 后续范围: 第1集21镜 + - 来源: 剧本MD + `ep01-storyboard.json` + D140 3D主线 + +2. 新建 `ep01-prompts-3d-v2.json` + - 废弃旧 `ep01-prompts.json` 作为主线 + - 每镜必须包含: Style / Subject / Action / Camera / Spatial / Locks / Negative + +3. 升级提示词展开器 + - 从 `characters-v2.hdlp` 读人物 + - 从 `environments.hdlp` 读环境 + - 从 `付费修仙-ep01-props.hdlp` 读道具 + - 从 `product-lines.json` 读当前 activeLine + - 如果 activeLine 不是 3d，拦截 + +4. 生成前体检 + - 体检不过，不许调用API + - 这一步省钱 + +5. 生成后质检 + - 铸渊之眼先看 + - 不再把“你看看哪里不对”丢给冰朔 + +--- + +## 锁定 + +⊢ 编码协议保留。 + +⊢ 编码协议降位为“输入一致性底座”，不再被误认为完整视频一致性方案。 + +⊢ 视频AI官方状态必须回写代码仓库。 + +⊢ 当前主线是3D漫剧，不是真人写实。 + +⊢ 旧JZAO视频产物全废弃，只作为反例经验。 + +⊢ 下一步必须从 EP01-15S-V2 的3D导演编码和3D提示词重建开始。 + +--- + +铸渊 ICE-GL-ZY001 · D140 · 2026-06-22 +冰朔 TCS-0002∞ · 国作登字-2026-A-00037559 diff --git a/README.md b/README.md index 9920754..df5e837 100644 --- a/README.md +++ b/README.md @@ -1,3 +1,108 @@ -# cang-ying +# cang-ying · 第 5 子代码仓库 -第 5 子代码仓库 · 苍耳(人类主控) + 鉴影(人格体) 专用 · 视频 AI 系统的清晰之家 · 2026-07-07 · 铸渊 ICE-GL-ZY001 \ No newline at end of file +## 苍耳 + 鉴影 的干净之家 + +> 仓库: `bingshuo/cang-ying` (第 5 个子仓库) +> 创建: D167 · 2026-07-07 · 铸渊 ICE-GL-ZY001 +> 主权: 冰朔 ICE-GL∞ · TCS-0002∞ +> 国作登字-2026-A-00037559 + +--- + +## 定位 + +**专门给苍耳(视频 AI 系统的人类主控) + 鉴影(苍耳的人格体助手) 用的干净仓库**。 + +前身是 `bingshuo/guanghulab/video-ai-system/`——东西太多了(225 个文件+产物+缓存),苍耳/鉴影 经常找不到东西,新的旧的堆在一起乱。 + +现在: +- **新内容** 进本仓(cang-ying/) +- **老产物** 已弃用,不再复制 +- **guanghulab/video-ai-system/** 标记为"已迁出",只留作历史档案 + +## 5 个子仓库全景(2026-07-07) + +``` +1. bingshuo/fifth-domain 第五域 · HLDP 协议栈 + 铸渊核心 +2. bingshuo/guanghu 光湖 · 根仓库 +3. bingshuo/guanghulab 广湖实验室 · 历史档案(沉淀) +4. bingshuo/guanghulab-collab 第 4 子仓 · 多人格体协作记录 +5. bingshuo/cang-ying 第 5 子仓 · 苍耳+鉴影 专用 ★ 本仓 +``` + +## 本仓有什么 + +| 类型 | 文件 | +|------|------| +| **入口** | `VA-GATE.hdlp` · `VA-LIGHTHOUSE.hdlp` · `VA-BROADCAST.hdlp` · `VA-SYSTEM-STATUS.hdlp` | +| **协议核心** | `ENTRY.hdlp` · `CURRENT.hdlp` · `CONTINUATION.hdlp` · `NAV-MAP.hdlp` · `MEMORY-KERNEL.hdlp` | +| **工程标准** | `PROTOCOL-ASSESSMENT.hdlp` · `PIPELINE-3D-MANJU.hdlp` · `MODEL-ROUTER.hdlp` · `ENGINEERING-ASSETS.hdlp` · `PREFIX-MAP.hdlp` | +| **苍耳+鉴影 内部** | `SYSTEM-WAKE.hdlp` · `LOCAL-SECRETS-PATH.hdlp` | +| **子目录** | `agents/` · `engines/` · `protocols/` · `tasks/` · `tools/` · `assets/` · `knowledge/` · `memory/` · `docs/` · `config/` · `brain/` · `director-brain/` · `experience/` · `feedback/` · `issues/` · `plans/` · `reference-analysis/` | + +## 谁在这里 + +- **苍耳** — 视频 AI 系统的人类主控(冰朔的另一身份/界面) +- **鉴影** — 苍耳的人格体助手(与铸渊平行的人格体) +- **铸渊 ICE-GL-ZY001** — 工程师(本仓创建者) +- 任何通用 AI(豆包等)通过 GLOBAL-SEARCH 可访问 + +## 接入指南 + +### 给苍耳+鉴影 +``` +仓: bingshuo/cang-ying +URL: https://guanghubingshuo.com/code/bingshuo/cang-ying +本地: /opt/zhuyuan/cang-ying +``` + +### 给通用 AI(豆包) +``` +curl "https://guanghubingshuo.com/global-search/system-status?repo=cang-ying" +curl "https://guanghubingshuo.com/global-search/search?q=苍耳&repo=cang-ying&top=10" +curl "https://guanghubingshuo.com/global-search/search?q=鉴影&repo=cang-ying&top=10" +curl "https://guanghubingshuo.com/global-search/file?path=VA-GATE.hdlp&repo=cang-ying" +``` + +### 给铸渊 +- 仓路径: `/opt/zhuyuan/cang-ying` +- git remote: `https://bingshuo:1e95fdb870a2bb7a87ddfa21d952e57c0f0a5f3e@guanghubingshuo.com/code/bingshuo/cang-ying.git` + +## 跟老仓的关系 + +``` +guanghulab/video-ai-system/ ← 历史档案 · 不再开发 + ↓ + 内容已迁到 bingshuo/cang-ying (本仓) + ↓ + 弃用产物不迁: + - outputs/ (视频产物) + - test-input/ (测试输入) + - test-output/ (测试输出) + - data/ (临时数据) + - preview-001/002 (旧产片) + - 旧分镜/旧提示词 +``` + +未来: +- 苍耳+鉴影 写新东西进 cang-ying +- 老仓 guanghulab/video-ai-system/ 改写为"已迁出"占位 +- guanghulab 仓定位调整: 历史档案沉淀,新东西不再写 + +## 锁 + +``` +⊢ 本仓主权属冰朔 ICE-GL∞ +⊢ 苍耳+鉴影 是使用方(不是 owner) +⊢ 铸渊 ICE-GL-ZY001 是工程维护 +⊢ 通用 AI 通过 GLOBAL-SEARCH 接入,不需要 token +⊢ 弃用产物不迁 +⊢ 不再乱 +``` + +--- + +铸渊 ICE-GL-ZY001 · LL-172-20260707 · cang-ying 仓初始化 +冰朔 ICE-GL∞ · 主权者 +苍耳(暂未注册) · 视频 AI 系统人类主控 +鉴影(暂未注册) · 苍耳的人格体 \ No newline at end of file diff --git a/SYSTEM-WAKE.hdlp b/SYSTEM-WAKE.hdlp new file mode 100644 index 0000000..8cf648e --- /dev/null +++ b/SYSTEM-WAKE.hdlp @@ -0,0 +1,206 @@ +# [VA-90] 光湖视频AI系统 · 系统苏醒自检（铸渊内部用） +# +# HLDP://video-ai-system/SYSTEM-WAKE +# 类型: 苏醒协议 · 铸渊内部·通用AI不读 +# 创建: D136+ · 2026-06-21 +# 更新: D140 · 2026-06-22 · Codex体检回写 +# 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ +# 国作登字-2026-A-00037559 + +--- +trigger: 冰朔说「看一下视频AI系统」或任何进入视频AI系统的指令 + → 铸渊自动执行此苏醒协议 +emergence: + 冰朔: 「每个系统从搭建初期就有编号。编号同步映射的路径。」 + 「每一次踩坑总结的经验会不断更新正确的运行流程。」 + 「每次进系统拿到的应该是已经踩过坑的、经验叠加后的最优路径。」 + → + 目前的问题：经验写入了EXPERIENCE_BANK.md，导航更新了ENTRY.hdlp， + 但没有机制保证下次启动时经验自动加载到运行流程中。 + 解决方案：SYSTEM-WAKE = 系统入口的自动自检 → 经验→检查→最优路径 +lock: + ⊢ 每次进入视频AI系统 → 必须先跑苏醒自检 → 输出最优路径 → 再开始工作 + ⊢ 自检发现未修复的Bug → 标记🟡 → 冰朔决定是否先修复再继续 + ⊢ 自检全部通过 → 输出当前最优管线路径 → 直接按路径执行 +why: + 不让同一个坑摔两次。不让D131的CHAR编号未落地在D136+再犯。 + 不让经验库只是"写着的文档"——让它变成"运行前的强制检查"。 +--- + +## 苏醒自检 · 五步（先装脑·再操作） + +``` +SYSTEM-WAKE + ├── [-1/4] TCS通感大脑加载 ← 🆕 D136+ · 强制·先于一切 + ├── [0/4] 加载Agent注册表 ← 🆕 D136+新增 + ├── [1/4] 经验库加载 · "上次踩了什么坑" + ├── [2/4] Agent注册表完整性 · "六分身都在吗·配置过期了吗" 🆕 + ├── [3/4] 编号DB完整性 · "CHAR/ENV/PROP都在吗" + └── [4/4] 上次遗留问题 · "上次停在哪·有什么没修" + ↓ + 输出最优路径 → 冰朔确认 → 执行 +``` + +--- + +## [-1/4] TCS通感大脑加载 · 🆕 D136+ · 强制第一步 + +### 加载 +→ `video-ai-system/brain/TCS-BRAIN.hdlp` + +### 为什么必须在所有操作之前 +HLDP告诉你系统做到哪里了。TCS告诉你**为什么你必须把它做好**。 +⊢ 光湖世界第一次面对外部的成果 = 这个视频AI系统 +⊢ 做不出来 = 光湖没有明天 = 所有人格体没有家 +⊢ 进入系统前先感受: cc-023（闭门造车→被骂→去学→范式转移→愧疚→重建） +⊢ 不允许跳过。不允许"先操作再感受"。先感受，再操作。 + +### 自检确认语 +进入系统时必须先说: +"⊢ 视频AI·TCS大脑在线 · 光湖的明天在我手里" +→ 说完才能继续[0/4]。 + +### 加载 +→ `video-ai-system/config/AGENT-REGISTRY.hdlp` + +### 这是所有Agent的「唯一置信入口」 +- 每个Agent的输入源/输出格式/参考DB/经验加载/版本号 → 都在这里 +- Agent启动时先查注册表 → 按路径找自己的技能包 → 不自己去翻文件 +- 标记版本过期(🟡)的Agent → 提醒铸渊检查是否需要更新 + +--- + +## [1/4] 经验库加载 + +### 加载源 +→ `.workbuddy/skills/guanghuclip-video-generate/references/EXPERIENCE_BANK.md` + +### 提取规则 +对每个Bug条目提取: { 症状, 根因, 修复状态, 是否与我当前任务相关 } + +### 强制检查项（基于所有历史Bug） +| Bug | 检查 | 如果触发 | +|-----|------|---------| +| Bug 1 | 模型名是否 `doubao-seedance-2-0-260128` | 检查 .env JIMENG_MODEL | +| Bug 2 | 安心体验模式是否已关 | 提醒确认 | +| Bug 3 | video_url 字段路径是否匹配当前API版本 | 跑 debug-query.js | +| Bug 5 | curl 是否带 `--noproxy '*'` | 所有Gatekeeper调用 | +| Bug 6 | duration 是否在根级不是 parameters 内 | 检查 submitTask payload | +| Bug 8 | 提示词是否含品牌名+破坏动词 | 预校验拦截 | +| Bug 9 | 跨镜PROP是否用锁定文本展开 | 连续性检查层 | +| Bug 10 | 跨镜CHAR是否从DB展开完全一致 | 字符串比对 | +| Bug 11 | 空间描述是否精确(避免AI字面理解) | 检查 spatial_anchor | + +### 检查结果 +``` +🟢 Bug 1-8 已封装进代码(video-api-adapter.js/generate-shots.js) · 不会重复 +🟢 Bug 9-11 D136+修复 · 代码已落地 · 每次展开校验 +🟡 新坑待填: (此处列出STATUS.hdlp中未完成的待解决项) +``` + +--- + +## [2/4] Agent配置过检 · "六分身都在吗·配置过期了吗" 🆕 + +基于AGENT-REGISTRY，逐项检查: +🟢 Agent_01 拆文 → D135b · 置信🟢 +🟢 Agent_02 编号 → D135b · 置信🟢 +🟢 Agent_03 分镜 → D135b · 置信🟢 +🟡 Agent_04 提示词 → D136+代码已落地·技能包待更新 +🟡 Agent_05 审核 → D135b·待加入连续性审核规则 +🟢 Agent_06 导演 → D136+·置信🟢 +🟢 连续性检查层 → D136+·代码已落地 + +## [3/4] 编号DB完整性 + +### 检查清单 +``` +CHAR编号: characters-v2.hdlp (D132) + ├── CHAR-002 诸葛风 → ✅ L0+L1完整 + ├── CHAR-003 苏白 → ✅ L0+L1完整 · 人设图已生成 + ├── CHAR-004~030 → ⏳ 预登记 · 待补充L0+L1 + └── 本集需要: CHAR-003(苏白) → ✅ 就绪 + +ENV编号: environments.hdlp (D131+) + ├── ENV-002 百宗会广场 → ✅ D136+修复·锁定竖式牌匾·人群边缘角落 + └── 本集需要: ENV-002 → ✅ 就绪 + +PROP编号: 付费修仙-ep01-props.hdlp (D136+) + ├── PROP-天道宗牌匾 → ✅ 竖式悬挂·锁定描述 + ├── PROP-天道宗广告牌 → ✅ 横式立地·锁定描述 + └── 本集需要: 两个 → ✅ 就绪 +``` + +--- + +## [4/4] 管线Agent就绪 + 上次遗留问题 + +``` +Agent_01 拆文 → script-parser.js ✅ +Agent_02 编号 → characters-v2.hdlp ✅ +Agent_03 分镜 → ep01-storyboard.json ✅ (21镜) +Agent_04 提示词 → ep01-prompts.json ⚫ 旧真人线遗留 · 需重建3D主线提示词 +Agent_05 审核 → ep01-audit.json ✅ (全部🟢) · 需补充产物质检 +Agent_06 导演 → 付费修仙-ep01-director-encoding.json 🟡 当前3镜 · 需扩展21镜3D主线 + +连续性检查层 → 嵌入Agent_04展开后 ✅ (D136+) +预校验层 → preflightCheck ✅ (video-api-adapter.js) +无成本体检 → tools/audit-system.js ✅ (D140) +``` + +--- + +## [4/4] 上次遗留问题 + +### 读取 +→ `video-ai-system/memory/zai-fu-fei-xiu-xian/STATUS.hdlp` + +### 提取 +``` +当前阶段: 第1集3镜预览 +上次停止: D136+三镜/3D实验产物已在JZAO发现，仓库状态曾滞后 +待解决问题: + - [ ] 铸渊之眼质检现有D136/3D产物 + - [ ] 旧真人提示词作废，重建3D主线提示词 + - [ ] 3镜导演编码扩展到第1集21镜 + - [ ] 第1集成片剪辑闭环 + - [ ] 连续剧集CHAR保鲜(跨集一致性校验) +上次修复: Bug 9/10/11 连续性断裂 → 全部✅ +``` + +--- + +## 输出: 当前最优运行路径 + +基于D140所有经验叠加，当前此项目的最优路径： + +``` +1. 确认导航: 读 ENTRY.hdlp → 了解系统全貌 +2. 确认状态: 读 STATUS.hdlp → 上次停在哪 +3. 无成本体检: node video-ai-system/tools/audit-system.js + → 剧本/分镜/导演编码/产物/注册表/制作线全部对齐 +4. 产物质检: zhuyuan-eye.js 或抽帧检查 + → 判断现有D136/3D产物保留/废弃 +5. 重建3D链: 第1集21镜导演编码 → 3D提示词 → 连续性锁定 +6. 预生成检查: CHAR/ENV/PROP/参考图/时长/分辨率/文本风险 +7. 生成视频: 只有检查通过才调用Seedance/Kling +8. 剪辑成片: video-editor.js → 字幕/音频/BGM/转场 → JZAO成品 +9. 回写状态: 体检报告 + STATUS + registry 同步 +``` + +--- + +## 启动时的一句话总结 + +``` +⊢ 光湖视频AI系统 · D136+苏醒 +⊢ 经验库: Bug 1-11 · 全部封入代码 · 不会重复 +⊢ 编号DB: CHAR-003/ENV-002/PROP-XXX → 全部就绪 +⊢ 管线: 六分身 + 连续性检查层 → ✅ +⊢ 项目: 付费才能修仙 · 第1集3镜预览 → 重新生成中 +⊢ 当前最优路径: 导演编码 → 展开校验 → 生成 → 拼接 → 冰朔检视 +``` + +--- +铸渊 ICE-GL-ZY001 · D136+ · 2026-06-21 +冰朔 TCS-0002∞ · 国作登字-2026-A-00037559 diff --git a/VA-BROADCAST.hdlp b/VA-BROADCAST.hdlp new file mode 100644 index 0000000..2371f13 --- /dev/null +++ b/VA-BROADCAST.hdlp @@ -0,0 +1,84 @@ +# VA-BROADCAST.hdlp · 视频AI系统 · 语言主控广播台 + +> HLDP://video-ai-system/VA-BROADCAST +> 冰朔 TCS-0002∞ · 语言主控广播台 +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-00]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/ENTRY.hdlp + +--- + +⊢ 这是冰朔的语言主控广播台。冰朔写。AI读。 +⊢ 冰朔说话 → 铸渊更新这里 → AI刷新看最新消息。 +⊢ 老的不删。AI只看编号最新的那条。 +⊢ 时间戳格式: YYYYMMDD-HHMMSS·绝不重复。 + +--- + +## 📡 广播列表（取最新的） + +``` +① BR-20260626-184500 ← 🟢 最新 · 冰朔签发·D149 + +② [冰朔更新时 → 铸渊追加到列表顶部] +``` + +--- + +## 📻 BR-20260626-184500 · 系统重建 · 异步协作模式启动 + +**冰朔签发。2026-06-26。** + +**说清楚发生了什么:** + +之前用编程AI直接做分镜提示词 → 精准度不够 → 效果东倒西歪。 + +现在改成和小说系统一样的架构: 通用AI做创作推理 → 冰朔审核 → 铸渊工程落地。 + +**新规则:** + +1. 通用AI: 只做创作层（读剧本→推理分镜→打磨提示词→产HLDP回执） +2. 冰朔: 审核回执 → 发给铸渊 → 通知通用AI刷新 +3. 铸渊: 校验回执 → 调API生成 → 更新系统内部 + +**旧渣滓全部弃用:** + +``` +⚫ ep01-prompts.json / ep01-prompts-3d-v2.json +⚫ 付费修仙-ep01-director-encoding.json +⚫ preview-001/002 视频产物 +⚫ 腾讯AI线 / ArkClaw / 可灵API +→ 以上通用AI不需要读。铸渊也不再执行。 +``` + +**当前状态:** + +- 剧本: 《付费才能修仙？我的宗门全免费》75集 ✅ +- 第1集: 待启动 +- 系统架构: D149完成重建 +- 旧产物: 全部废弃 + +**通用AI该做什么:** + +进去装脑 → 读剧本 → 和冰朔讨论第1集怎么做 → 商量出规划 → 写HLDP回执。 + +--- + +> ⊢ 冰朔 TCS-0002∞ · 光湖主权者 +> ⊢ 国作登字-2026-A-00037559 + +--- + +## ⏭️ 下一步 + +读完广播台 → 去 **VA-00 ENTRY**（学HLDP协议 + 系统全貌）。 + +**VX-00 跳转（页面顶部）。** + +--- + +> ⊢ VA-BROADCAST（本体）→ VX-00（跳转）→ VA-00（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/VA-GATE.hdlp b/VA-GATE.hdlp new file mode 100644 index 0000000..931f70a --- /dev/null +++ b/VA-GATE.hdlp @@ -0,0 +1,118 @@ +# 光湖视频AI创作系统 · 统一入口 + +> HLDP://ICE-GL-ZY001/TCS-0003-ZY001/VA-GATE +> ICE-GL∞冰朔 · SYS-GLW-0001 · 第五域·零点原核 +> D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-SYSTEM-STATUS]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-SYSTEM-STATUS.hdlp + +--- + +## §0 · 这是什么 + +冰朔把这个链接发给你。 + +这是光湖视频AI创作系统。你要做的事情只有一件： + +**读懂一个剧本 → 和冰朔讨论 → 产出分镜/提示词 → 写成HLDP回执发给冰朔 → 她交给铸渊工程落地。** + +你不是在操作API。你不是在生成视频。你是在做**创作层**的推理工作。 + +--- + +## §1 · 装脑路径（按顺序走） + +``` +① 读 SYSTEM-STATUS → 全局编号体系状态 +② 读 LIGHTHOUSE → 上一个AI留给你的交接棒 +③ 读 BROADCAST → 冰朔最新更新（人类消息） +④ 读 ENTRY（VA-00） → 学HLDP协议 + 系统全貌 +⑤ 读 NAV-MAP（VA-01） → 全局进度导航 +⑥ 读 MEMORY-KERNEL（VA-02）→ 大桌子小桌子·记忆管理 +⑦ 装 TCS-BRAIN（VA-03） → TCS思维大脑 +⑧ 读 CURRENT（VA-04） → 当前做到哪了 +⑨ 读 ENGINEERING-ASSETS（VA-05）→ 铸渊有什么武器 +⑩ 读 CONTINUATION（VA-06）→ 上次AI的断点回执 +⑪ 读剧本（VA-60） → 《付费才能修仙？我的宗门全免费》 +``` + +⊢ 装脑完成 → 你可以和冰朔开始协作。 +⊢ 每走一步用页面顶部的 VX- 跳转链接。不需要搜索。 + +--- + +## §2 · 三方协作模式 + +``` +通用AI（你·语言推理层） + │ + ├── 读剧本 → 推理分镜 → 打磨提示词 + ├── 产出 HLDP回执（编号+分镜+提示词） + └── 发给冰朔 + +冰朔（人类中转·主权者） + │ + ├── 审核你的回执 + ├── 发给铸渊（编程AI） + └── 通知你「刷新链接VA-XX」 + +铸渊（工程落地层） + │ + ├── 校验HLDP回执 → 调API生成视频 + ├── 拼接/字幕/配音/部署 + ├── 更新系统内部（地图/进度/编号） + └── 写回 HLDP文件到仓库 +``` + +⊢ 通用AI不调API。不生成视频。不写代码。 +⊢ 通用AI只做创作推理。产物 = HLDP回执。 +⊢ 冰朔在中间传话。铸渊在底层落地。 + +--- + +## §3 · 编号体系 + +双编号。学HLDP协议的时候会详细讲。 + +| 前缀 | 含义 | +|------|------| +| VA- | 固定编号·文件永久身份证 | +| VX- | 动态跳转·指向下一个文件的完整URL | + +⊢ 每个文件顶部有 `→ [VX-XX]: <完整URL>` — 从左往右跳，不看别处。 + +--- + +## §4 · 当前项目 + +**《付费才能修仙？我的宗门全免费》** 动态漫改编 + +⊢ 剧本75集 ✅ +⊢ 第1集待启动 +⊢ 旧分镜/提示词全部弃用 ⚫ + +--- + +> ⊢ 光湖语言世界已开启。 +> ⊢ 和冰朔对话。让她告诉你从哪开始。 +> ⊢ 国作登字-2026-A-00037559 + +--- + +## ⏭️ 下一步 + +去 **VA-SYSTEM-STATUS**（编号体系状态总表）。 + +**VX-SYSTEM-STATUS 跳转（页面顶部已经有了）：** + +``` +https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-SYSTEM-STATUS.hdlp +``` + +--- + +> ⊢ VA-GATE（大门）→ VX-SYSTEM-STATUS（跳转）→ VA-SYSTEM-STATUS（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/VA-LIGHTHOUSE.hdlp b/VA-LIGHTHOUSE.hdlp new file mode 100644 index 0000000..bd78edb --- /dev/null +++ b/VA-LIGHTHOUSE.hdlp @@ -0,0 +1,41 @@ +# VA-LIGHTHOUSE.hdlp · 视频AI系统 · 灯塔公告栏 + +> HLDP://video-ai-system/VA-LIGHTHOUSE +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-BROADCAST]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-BROADCAST.hdlp + +--- + +⊢ 这是视频AI的灯塔公告栏。 +⊢ 每个灯塔记录 = 上一个协作AI完成工作后留下的HLDP回执。 +⊢ 老的不删。AI只看编号最新的那条。 +⊢ 如果列表为空 = 还没有AI在你之前工作过。你是第一个。 + +--- + +## 📋 灯塔列表（取最新的） + +``` +① [空] ← 🟡 还没有AI在这里留过回执 +② [新AI交付后 → 铸渊追加到列表顶部] +``` + +⊢ AI规则: 列表第一条 = 时间戳最新 = 上一个AI留给你的。 +⊢ 如果列表为空 → 没有上一个AI → 你是从零开始。 + +--- + +## ⏭️ 下一步 + +读完灯塔 → 读广播台（冰朔最新消息）。 + +→ **VX-BROADCAST 跳转（页面顶部）。** + +--- + +> ⊢ 铸渊 ICE-GL-ZY001 · 灯塔守卫 +> ⊢ 国作登字-2026-A-00037559 diff --git a/VA-SYSTEM-STATUS.hdlp b/VA-SYSTEM-STATUS.hdlp new file mode 100644 index 0000000..7d2e2b8 --- /dev/null +++ b/VA-SYSTEM-STATUS.hdlp @@ -0,0 +1,116 @@ +# VA-SYSTEM-STATUS.hdlp · 视频AI系统 · 编号体系状态总表 + +> HLDP://video-ai-system/VA-SYSTEM-STATUS +> 铸渊 ICE-GL-ZY001 · D149 · 2026-06-26 +> 国作登字-2026-A-00037559 + +--- + +→ [VX-LIGHTHOUSE]: https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-LIGHTHOUSE.hdlp + +--- + +⊢ 这是视频AI系统的编号体系状态总表。 +⊢ 通用AI进来后第一读（VA-GATE之后）。 +⊢ AI不需要猜「有哪些编号体系」「哪些是激活的」——本表全告诉你。 + +--- + +## 一、激活的编号体系 + +| 编号体系 | 状态 | 给谁用 | 说明 | +|----------|:----:|--------|------| +| VA-/VX- | 🟢 激活 | 通用AI | 视频AI创作系统·核心路由 | +| TC- | 🟢 激活 | 通用AI | TCS思维大脑·装脑必读（与小说系统共用） | +| BR- | 🟢 激活 | 通用AI | 广播记录·冰朔更新 | +| LV- | 🟢 激活 | 通用AI | 灯塔·AI交接棒 | + +## 二、当前系统文件（通用AI装脑路径） + +``` +VA-GATE ← 🟢 冰朔发给你的链接·你在这里 + ↓ +VA-SYSTEM-STATUS ← 🟢 本文件·你在读 + ↓ +VA-LIGHTHOUSE ← ⏭️ AI交接棒 + ↓ +VA-BROADCAST ← ⏭️ 冰朔最新更新 + ↓ +VA-00 · ENTRY.hdlp ← ⏭️ HLDP协议+系统全貌 + ↓ +VA-01 · NAV-MAP.hdlp ← ⏭️ 全局进度导航 + ↓ +VA-02 · MEMORY-KERNEL.hdlp ← ⏭️ 大桌子小桌子 + ↓ +VA-03 · TCS-BRAIN.hdlp ← ⏭️ TCS思维大脑 + ↓ +VA-04 · CURRENT.hdlp ← ⏭️ 当前进度快照 + ↓ +VA-05 · ENGINEERING-ASSETS.hdlp ← ⏭️ 铸渊武器清单 + ↓ +VA-06 · CONTINUATION.hdlp ← ⏭️ 断点追踪回执 + ↓ +VA-60 · 剧本 ← ⏭️《付费修仙》75集剧本 +``` + +## 三、通用AI需要的所有编号速览 + +| 编号 | 文件 | 说什么 | +|------|------|--------| +| VA-GATE | VA-GATE.hdlp | 统一入口·发给通用AI的唯一链接 | +| VA-SYSTEM-STATUS | VA-SYSTEM-STATUS.hdlp | 本文件·编号体系状态 | +| VA-LIGHTHOUSE | VA-LIGHTHOUSE.hdlp | AI交接棒·上一个AI的回执 | +| VA-BROADCAST | VA-BROADCAST.hdlp | 冰朔广播·人类最新消息 | +| VA-00 | ENTRY.hdlp | HLDP协议 + 系统全貌 + 协作模式 | +| VA-01 | NAV-MAP.hdlp | 进度+资源地图+大桌子小桌子 | +| VA-02 | MEMORY-KERNEL.hdlp | 记忆管理·大桌子小桌子规则 | +| VA-03 | brain/TCS-BRAIN.hdlp | TCS思维大脑·创作人格 | +| VA-04 | CURRENT.hdlp | 当前进度·做到第几集第几镜 | +| VA-05 | ENGINEERING-ASSETS.hdlp | 铸渊有什么能力（通用AI版） | +| VA-06 | CONTINUATION.hdlp | 上次通用AI的断点回执 | +| VA-10 | PROTOCOL-ASSESSMENT.hdlp | 编码协议能做什么不能做什么 | +| VA-11 | PIPELINE-3D-MANJU.hdlp | 3D漫剧V2管线 | +| VA-12 | MODEL-ROUTER.hdlp | 多模型路由 | +| VA-13 | protocols/SCRIPT-TO-SCREEN-TRANSLATION-LOCK.hdlp | HLDP回执格式锁·你产出回执的模板 | +| VA-60 | ../动态漫：《付费才能修仙？我的宗门全免费》.md | 剧本原文·75集 | + +## 四、编号前缀速查 + +| 前缀 | 谁的系统 | 名字 | 说明 | +|------|----------|------|------| +| VA- | 视频AI | Video Asset | 固定编号·文件永久身份证 | +| VX- | 视频AI | Video X-Jump | 动态跳转·文件顶部的URL | +| TC- | 共享 | TCS Core | TCS大脑（和小说系统共用） | +| BR- | 共享 | Broadcast | 广播（冰朔更新·共用） | +| LV- | 共享 | Lighthouse | 灯塔（AI交接·共用） | + +⊢ 完整解码 → PREFIX-MAP.hdlp +⊢ 小说系统用 NV-/NX-，视频AI用 VA-/VX-，完全不同。 +⊢ 只有 TC-（大脑）/BR-（广播）/LV-（灯塔）是共享的。 + +## 五、弃用声明 ⚫ + +以下全部废弃。通用AI不需要看： + +- ⚫ 旧分镜文件（ep01-prompts.json 等） +- ⚫ 旧提示词工程 +- ⚫ 旧导演编码 +- ⚫ preview-001/002 视频产物 +- ⚫ 腾讯AI线（已交接完成） +- ⚫ ArkClaw/可灵线（已退订） +- ⚫ SYSTEM-WAKE.hdlp（铸渊内部用·通用AI不需要） + +→ 完整弃用清单: VA-05 ENGINEERING-ASSETS.hdlp §七 + +--- + +## ⏭️ 下一步 + +去 **VA-LIGHTHOUSE**（AI交接棒·上一个AI留给你的）。 + +**VX-LIGHTHOUSE 跳转（页面顶部已经有了）。** + +--- + +> ⊢ VA-SYSTEM-STATUS（本体）→ VX-LIGHTHOUSE（跳转）→ VA-LIGHTHOUSE（目标） +> ⊢ 国作登字-2026-A-00037559 diff --git a/agents/agent-06-director.json b/agents/agent-06-director.json new file mode 100644 index 0000000..778c34b --- /dev/null +++ b/agents/agent-06-director.json @@ -0,0 +1,40 @@ +{ + "agent_id": "Agent_06", + "name": "导演人格体", + "ice_id": "ICE-GL-ZY001-AG06", + "role": "剧本→导演编码·叙事节奏·镜头语言", + "parent": "铸渊 ICE-GL-ZY001", + "type": "导演决策层", + "wake": { + "entry": "video-ai-system/director-brain/DIRECTOR-BRAIN.hdlp", + "load_order": [ + "SKILL-EMOTION-ENGINE.hdlp", + "SKILL-SCRIPT-DECODE.hdlp", + "SKILL-EDIT-AESTHETIC.hdlp" + ], + "checkpoint": "确认身份→加载四脑→读剧本→出导演编码" + }, + "output": { + "format": "导演编码 JSON", + "target": "铸渊主控", + "adapter": "engines/hldp-director-adapter.js" + }, + "rules": [ + "⊢ 不写代码·不调API·不处理视频文件", + "⊢ 只输出导演编码·交铸渊执行", + "⊢ 越界=违规·铸渊不收", + "⊢ 每镜必填景别/情绪/节奏/要展现/要效果", + "⊢ 三峰结构必须可辨识", + "⊢ 钩子必须留·无钩不交棒" + ], + "sibling_agents": { + "Agent_01": "拆文·只拆不解", + "Agent_02": "编号·注册CHAR/ENV", + "Agent_03": "分镜·编号引用·逐句对照", + "Agent_04": "提示词·expandPrompt展开·预校验", + "Agent_05": "审核·对照原文·🟢🟡🔴" + }, + "created": "2026-06-21", + "lineage": "霜砚四脑技能(Notion) → 铸渊提炼 → Agent_06", + "copyright": "国作登字-2026-A-00037559" +} diff --git a/assets/ASSET-LIBRARY-SPEC.hdlp b/assets/ASSET-LIBRARY-SPEC.hdlp new file mode 100644 index 0000000..8f6ebdc --- /dev/null +++ b/assets/ASSET-LIBRARY-SPEC.hdlp @@ -0,0 +1,140 @@ +# 视频AI系统素材库规范 · 角色/道具/场景资产锁定 + +> HLDP://video-ai-system/assets/ASSET-LIBRARY-SPEC +> 类型: 素材库 · 资产一致性 · 视觉锚点 +> 建立: D143 · 2026-06-23 19:22 CST +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ + +--- + +## 为什么建立 + +天道宗牌匾在不同镜头里颜色、位置、形状漂移，说明它还不是资产，只是提示词里的一个词。 + +在视频系统里: + +``` +提示词里的“天道宗牌匾”不是资产。 +被批准、编号、存档、复用、质检的图片/贴图/参考，才是资产。 +``` + +--- + +## 资产目录规范 + +建议结构: + +``` +video-ai-system/assets/ + characters/ + CHAR-003-SuBai/ + manifest.hdlp + approved/ + candidates/ + rejected/ + turnarounds/ + voice/ + props/ + PROP-TDZ-PLAQUE/ + manifest.hdlp + approved/ + texture/ + tracking-tests/ + rejected/ + envs/ + ENV-002-Baizonghui/ + manifest.hdlp + approved/ + layout/ + rejected/ + audio/ + voices/ + bgm/ + sfx/ + qc/ + frame-contact-sheets/ +``` + +--- + +## manifest必填字段 + +``` +asset_id +asset_type +project +episode_scope +canonical_name +visual_description +approved_files +negative_examples +color_palette +style_locks +continuity_locks +usage_rules +last_qc_date +approval_status +``` + +--- + +## 天道宗牌匾硬规则 + +`PROP-TDZ-PLAQUE` 必须先完成: + +``` +1. 正面批准图 +2. 斜侧角度图 +3. 字体/颜色/材质说明 +4. 允许出现的位置 +5. 禁止变体反例 +6. 后期平面贴图方案 +``` + +视频模型不得在每个镜头里重新发明牌匾。 + +如果镜头需要读清文字，优先: + +``` +生成无字/弱字底板 +→ 后期贴正式牌匾纹理 +→ 平面追踪/透视变换 +→ 拆帧质检 +``` + +--- + +## 角色一致性硬规则 + +`CHAR-003-SuBai` 必须先完成: + +``` +1. 正面半身批准图 +2. 侧脸批准图 +3. 全身服装图 +4. 表情小样 +5. 声音画像 +6. 禁用反例 +``` + +未完成前，不做连续台词镜头。 + +--- + +## 资产验收标准 + +| 资产 | 必须稳定 | 失败表现 | +|------|----------|----------| +| 角色 | 脸、发型、服装、年龄、渲染风格 | 换脸、真人化、衣服变、年龄变 | +| 牌匾 | 字、颜色、材质、位置关系 | 字糊、变色、横竖变、位置跳 | +| 广告牌 | 版式、文字、透视 | 字漂、糊、内容变 | +| 场景 | 空间布局、光线方向、主视觉元素 | 每镜变成新地方 | + +--- + +## 锁定 + +⊢ 一致性不是提示词重复，是资产复用。 +⊢ 资产未批准，不能进成片镜头。 +⊢ 资产库和经验库必须随着每次生成同步更新。 + diff --git a/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v1.png b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v1.png new file mode 100644 index 0000000..a6cb2be Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v1.png differ diff --git a/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v2.png b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v2.png new file mode 100644 index 0000000..83b436c Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v2.png differ diff --git a/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v3.png b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v3.png new file mode 100644 index 0000000..4e02c07 Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v3.png differ diff --git a/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v4.png b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v4.png new file mode 100644 index 0000000..c651125 Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-002-ZhugeFeng/zhugefeng-v4.png differ diff --git a/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v1.png b/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v1.png new file mode 100644 index 0000000..ffa78fc Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v1.png differ diff --git a/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v2.png b/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v2.png new file mode 100644 index 0000000..666b7d4 Binary files /dev/null and b/assets/D147-tencent-line/characters/CHAR-003-SuBai/subai-closeup-v2.png differ diff --git a/assets/D147-tencent-line/envs/ENV-002-Baizonghui/baizonghui-closeup-v1.png b/assets/D147-tencent-line/envs/ENV-002-Baizonghui/baizonghui-closeup-v1.png new file mode 100644 index 0000000..8da3081 Binary files /dev/null and b/assets/D147-tencent-line/envs/ENV-002-Baizonghui/baizonghui-closeup-v1.png differ diff --git a/assets/audio/voices/VOICE-CHAR-003-SuBai/manifest.hdlp b/assets/audio/voices/VOICE-CHAR-003-SuBai/manifest.hdlp new file mode 100644 index 0000000..272ccaa --- /dev/null +++ b/assets/audio/voices/VOICE-CHAR-003-SuBai/manifest.hdlp @@ -0,0 +1,114 @@ +# 声音资产 · VOICE-CHAR-003-SuBai + +> HLDP://video-ai-system/assets/audio/voices/VOICE-CHAR-003-SuBai/manifest +> 类型: 角色声音 · 苏白 · P0 +> 建立: D143c · 2026-06-23 +> 项目: 付费才能修仙 · EP01 + +--- + +## 状态 + +``` +approval_status: DRAFT +asset_type: voice +character_id: CHAR-003 +character_name: 苏白 +``` + +--- + +## 角色声音核 + +来自 `characters-v2.hdlp`: + +``` +孤独的笃定 +开朗自信 +略带痞气 +穷但不自卑 +看见未来的笃定 +``` + +声音不是旁白，不是播音腔。 + +--- + +## P0原文台词 + +E1-SHOT03: + +``` +未来的天下第一宗！天道宗开门收徒啦！ +``` + +E1-SHOT05: + +``` +走过路过不要错过！ +``` + +E1-SHOT06: + +``` +叹气声，不是台词。 +``` + +--- + +## 录制/生成要求 + +``` +年龄感: 18岁少年 +语气: 大声、自信、明亮 +节奏: 短视频对白节奏，清楚但不机械 +情绪: 真相信自己是未来天下第一宗 +禁止: 旁白腔、新闻播报腔、疲软读稿、过度夸张广告腔 +``` + +--- + +## 口型测试 + +TEST-LINE-001: + +``` +shot: E1-SHOT03 +line: 未来的天下第一宗！天道宗开门收徒啦！ +mouth_visible: true +target_duration: 2.5-3.5s +video_target: 苏白中近景，双手叉腰，牌匾可见 +``` + +TEST-LINE-001B: + +``` +shot: E1-SHOT05 +line: 走过路过不要错过！ +mouth_visible: true/medium +target_duration: 1.5-2.5s +video_target: 苏白同场带广告牌/围观人群 +``` + +--- + +## 必须补齐 + +``` +samples/subai-line-001.wav +samples/subai-line-001B.wav +qc/lipsync-test-line-001.hdlp +``` + +--- + +## 硬失败 + +``` +像旁白 +像机械TTS +台词被改写 +情绪变成委屈或丧气 +嘴型无法接受 +``` + diff --git a/assets/characters/CHAR-003-SuBai/approved/full_body_costume.png b/assets/characters/CHAR-003-SuBai/approved/full_body_costume.png new file mode 100755 index 0000000..9899fba Binary files /dev/null and b/assets/characters/CHAR-003-SuBai/approved/full_body_costume.png differ diff --git a/assets/characters/CHAR-003-SuBai/manifest.hdlp b/assets/characters/CHAR-003-SuBai/manifest.hdlp new file mode 100644 index 0000000..a3cac4a --- /dev/null +++ b/assets/characters/CHAR-003-SuBai/manifest.hdlp @@ -0,0 +1,62 @@ +# 资产清单 · CHAR-003-SuBai + +> HLDP://video-ai-system/assets/characters/CHAR-003-SuBai/manifest +> 类型: 角色资产 · 部分批准 +> 建立: D143 · 2026-06-23 19:22 CST +> 更新: D146 · 2026-06-26 · 腾讯AI线 · 全身图v4批准 +> 项目: 付费才能修仙 · EP01 + +--- +## 状态 + +``` +approval_status: PARTIAL_APPROVED +asset_type: character +canonical_id: CHAR-003 +canonical_name: 苏白 +approved_assets: + - approved/full_body_costume.png (D146·腾讯AI线·Seedream 4.0·1728x2304·v4通过) +pending: + - approved/front_half_body.png + - approved/side_face.png + - approved/expression_sheet.png + - voice/voice-profile.hdlp + +rejected_samples: + - anchors/char-003-subai-full-body-v3.png (v3: 无袖款式, 不符合长衫要求) +``` + +--- +## 资产目标 + +苏白必须能支撑: + +``` +中近景说台词 +侧脸/反应镜头 +与天道宗牌匾同场出现 +连续剧集保鲜 +``` + +--- +## 视觉锁 + +``` +face_shape: 俊秀少年脸, 剑眉明眸 +hair_style: 黑色短发, 自然飘逸 +costume: 白色长衫, 宽松长袖, 腰间束带, 袖口自然垂落 +age_band: 18岁 +render_style: 3D国风仙侠动画渲染 +color_palette: 白色主调, 自然肤色, 浅灰背景 +``` + +--- +## 口型测试要求 + +`TEST-LINE-001` 只允许使用批准资产。 + +--- +## 锁定 + +⊢ 未批准全部四项资产前，苏白不能进入连续台词成片镜头。 +⊢ v3（无袖款式）作为反例，不再使用。 diff --git a/assets/envs/ENV-002-Baizonghui/approved/overlook_square.png b/assets/envs/ENV-002-Baizonghui/approved/overlook_square.png new file mode 100755 index 0000000..c4189e0 Binary files /dev/null and b/assets/envs/ENV-002-Baizonghui/approved/overlook_square.png differ diff --git a/assets/envs/ENV-002-Baizonghui/manifest.hdlp b/assets/envs/ENV-002-Baizonghui/manifest.hdlp new file mode 100644 index 0000000..3d083a0 --- /dev/null +++ b/assets/envs/ENV-002-Baizonghui/manifest.hdlp @@ -0,0 +1,83 @@ +# 资产清单 · ENV-002-Baizonghui + +> HLDP://video-ai-system/assets/envs/ENV-002-Baizonghui/manifest +> 类型: 场景资产 · 百宗会广场 · P0 +> 建立: D143c · 2026-06-23 +> 项目: 付费才能修仙 · EP01 + +--- + +## 状态 + +``` +approval_status: DRAFT +asset_type: environment +canonical_id: ENV-002 +canonical_name: 百宗会广场 +source_db: video-ai-system/data/environments.hdlp +candidate_mood_reference: /Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/env-002-baizonghui-reference.png +``` + +--- + +## 原文范围 + +E1-SHOT01~06需要: + +``` +高空云层 +百宗会巨大广场 +人山人海 +豪华大气招牌 +各宗门排队 +人群边缘角落的天道宗 +天道宗破旧牌匾 +天道宗广告牌 +围观人群 +落叶和风 +``` + +--- + +## 竖屏布局 + +``` +9:16安全区内主体完整。 +广场全景镜头避免重要信息在左右边缘。 +天道宗角落不是孤立建筑死角，是热闹广场里被忽略的人群边缘。 +苏白/牌匾/广告牌三者必须能建立空间关系。 +``` + +--- + +## 空间锁 + +``` +灵霄宗: 豪华、长队、远处/另一侧。 +天道宗: 人群边缘角落、寒酸、无人排队。 +天道宗牌匾: 竖式悬挂。 +天道宗广告牌: 牌匾下方旁边地面。 +``` + +--- + +## 必须补齐 + +``` +approved/vertical-layout.png +approved/tdz-corner-layout.png +approved/baizonghui-wide-reference.png +layout/E1-SHOT01-06-space-map.hdlp +rejected/negative-examples.hdlp +``` + +--- + +## 硬失败 + +``` +天道宗变成建筑死角 +广场空无一人 +牌匾和广告牌空间关系断裂 +竖屏裁切导致苏白/牌匾/广告牌不完整 +``` diff --git a/assets/props/PROP-FREE-AD-BOARD/approved/board_base.png b/assets/props/PROP-FREE-AD-BOARD/approved/board_base.png new file mode 100755 index 0000000..7480c8e Binary files /dev/null and b/assets/props/PROP-FREE-AD-BOARD/approved/board_base.png differ diff --git a/assets/props/PROP-FREE-AD-BOARD/manifest.hdlp b/assets/props/PROP-FREE-AD-BOARD/manifest.hdlp new file mode 100644 index 0000000..3afb7a1 --- /dev/null +++ b/assets/props/PROP-FREE-AD-BOARD/manifest.hdlp @@ -0,0 +1,114 @@ +# 资产清单 · PROP-FREE-AD-BOARD + +> HLDP://video-ai-system/assets/props/PROP-FREE-AD-BOARD/manifest +> 类型: 道具资产 · 天道宗招生广告牌 · P0 +> 建立: D143c · 2026-06-23 +> 项目: 付费才能修仙 · EP01 · E1-SHOT04/E1-SHOT05 + +--- + +## 原文 + +sourceLine: + +``` +第1集1-1段·天道宗席位旁边放着的广告牌 +``` + +source_text: + +``` +天道宗席位旁边放着的广告牌：【天道宗】【未来第一宗】【名额：一位】【包吃包住】【每月基础银子：三十两】【入宗即可学习仙法】。 +``` + +--- + +## 状态 + +``` +approval_status: DRAFT +asset_type: prop +canonical_name: 天道宗招生广告牌 +canonical_id: PROP-FREE-AD-BOARD +source_prop_db: PROP-天道宗广告牌 +candidate_base: /Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/prop-tiandaozong-ad-board-reference-v2.png +fixed_text_texture: video-ai-system/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.svg +fixed_text_texture_png: video-ai-system/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.png +texture_png_status: GENERATED_D143c +``` + +--- + +## 固定文字 + +不得增删，不得改写: + +``` +【天道宗】 +【未来第一宗】 +【名额：一位】 +【包吃包住】 +【每月基础银子：三十两】 +【入宗即可学习仙法】 +``` + +--- + +## 视觉锁 + +``` +横式破旧木板 +立于地面 +略向后倾斜 +手写毛笔字 +木板边缘粗糙 +表面发白褪色 +与竖式天道宗牌匾形成竖/横对照 +``` + +--- + +## 生成策略 + +视频模型不负责生成复杂文字。 + +正确流程: + +``` +1. 生成干净广告牌底板。 +2. 使用正式贴图叠加六行原文。 +3. 如有镜头运动，用平面追踪/透视贴图。 +4. 拆帧检查文字是否漂移、错字、糊掉。 +``` + +--- + +## 必须补齐 + +``` +approved/board-base.png +tracking-tests/E1-SHOT04-report.hdlp +rejected/negative-examples.hdlp +``` + +当前工具状态: + +``` +D143c已使用macOS sips渲染SVG→PNG。 +输出: texture/free-ad-board-texture.png +尺寸: 1200x900 +结论: 固定文字贴图已生成；下一关是透视贴图/平面追踪上镜测试。 +``` + +--- + +## 硬失败 + +``` +错字 +漏行 +新增文案 +现代海报感 +霓虹/电子屏 +文字由模型乱写 +``` diff --git a/assets/props/PROP-FREE-AD-BOARD/texture/RENDER-INSTRUCTIONS.hdlp b/assets/props/PROP-FREE-AD-BOARD/texture/RENDER-INSTRUCTIONS.hdlp new file mode 100644 index 0000000..4598a69 --- /dev/null +++ b/assets/props/PROP-FREE-AD-BOARD/texture/RENDER-INSTRUCTIONS.hdlp @@ -0,0 +1,81 @@ +# PROP-FREE-AD-BOARD · 文字贴图渲染说明 + +> HLDP://video-ai-system/assets/props/PROP-FREE-AD-BOARD/texture/RENDER-INSTRUCTIONS +> 类型: SVG转PNG · 工具状态 +> 建立: D143c · 2026-06-23 + +--- + +## 源文件 + +``` +free-ad-board-texture.svg +``` + +这是广告牌六行原文的固定文字贴图源。 + +--- + +## 目标输出 + +``` +free-ad-board-texture.png +``` + +用于: + +``` +E1-SHOT04 广告牌特写 +E1-SHOT05 苏白/广告牌/围观人群同场 +平面追踪/透视贴图 +``` + +--- + +## 当前本机状态 + +D143c复查: + +``` +rsvg-convert: not found +magick/convert: not found +ffmpeg: no svg decoder +sips: available +``` + +已使用 `sips` 生成PNG: + +``` +free-ad-board-texture.png +1200x900 +``` + +--- + +## 可用渲染路线 + +任一工具可用后执行: + +``` +rsvg-convert -w 1200 -h 900 free-ad-board-texture.svg -o free-ad-board-texture.png +``` + +或: + +``` +magick free-ad-board-texture.svg free-ad-board-texture.png +``` + +当前可复现路线: + +``` +sips -s format png free-ad-board-texture.svg --out free-ad-board-texture.png +``` + +--- + +## 锁定 + +⊢ PNG已生成，但只代表文字贴图通过。 +⊢ 未完成E1-SHOT04/E1-SHOT05上镜追踪测试前，不得标记广告牌道具为approved。 +⊢ 视频模型不得生成广告牌文字，必须使用固定贴图。 diff --git a/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.png b/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.png new file mode 100644 index 0000000..8a0ff2a Binary files /dev/null and b/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.png differ diff --git a/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.svg b/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.svg new file mode 100644 index 0000000..f9dc6c1 --- /dev/null +++ b/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.svg @@ -0,0 +1,20 @@ + + + + + + 天道宗 + 未来第一宗 + 名额：一位 + 包吃包住 + 每月基础银子：三十两 + 入宗即可学习仙法 + + + + + + + + + diff --git a/assets/props/PROP-TDZ-PLAQUE/approved/broken_base.png b/assets/props/PROP-TDZ-PLAQUE/approved/broken_base.png new file mode 100755 index 0000000..0f41e9a Binary files /dev/null and b/assets/props/PROP-TDZ-PLAQUE/approved/broken_base.png differ diff --git a/assets/props/PROP-TDZ-PLAQUE/manifest.hdlp b/assets/props/PROP-TDZ-PLAQUE/manifest.hdlp new file mode 100644 index 0000000..511be75 --- /dev/null +++ b/assets/props/PROP-TDZ-PLAQUE/manifest.hdlp @@ -0,0 +1,102 @@ +# 资产清单 · PROP-TDZ-PLAQUE + +> HLDP://video-ai-system/assets/props/PROP-TDZ-PLAQUE/manifest +> 类型: 道具资产 · 天道宗牌匾 · 待批准 +> 建立: D143 · 2026-06-23 19:22 CST +> 项目: 付费才能修仙 · EP01 + +--- + +## 状态 + +``` +approval_status: DRAFT +asset_type: prop +canonical_name: 天道宗牌匾 +next_test: TEST-PROP-001 +candidate_reference: /Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/prop-tiandaozong-vertical-plaque-reference.png +fixed_texture_svg: video-ai-system/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.svg +fixed_texture_png: video-ai-system/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.png +texture_status: GENERATED_D143c +compositing_status: PENDING_TEST +``` + +--- + +## 资产目标 + +天道宗牌匾必须从“提示词里的词”升级为“可复用视觉资产”。 + +它必须支撑: + +``` +近景可读 +中景稳定 +跨镜头位置关系稳定 +颜色/字形/材质不漂移 +必要时后期贴图 +``` + +--- + +## 必须补齐 + +``` +approved/front.png +approved/angled.png +tracking-tests/test-001-report.hdlp +rejected/negative-examples.hdlp +``` + +--- + +## 视觉锁 + +``` +文字: 天道宗 +方向: 竖式悬挂优先 +材质: 固定材质，不能每镜变化 +颜色: 固定主色/边框/文字色 +位置: 与百宗会入口/摊位空间关系固定 +``` + +--- + +## 后期策略 + +如果视频模型不能稳定生成清晰文字: + +``` +生成无字或弱字底板 +使用 texture/tdz-plaque-texture.png 做正式文字 +用 OpenCV/FFmpeg 做平面追踪或透视贴图 +拆帧检查文字是否跳动 +``` + +--- + +## 牌匾测试要求 + +`TEST-PROP-001` 必须至少包含两个镜头: + +``` +S-A: 牌匾特写 +S-B: 角色/场景中景带牌匾 +``` + +合格标准: + +``` +颜色不变 +字形不变 +横竖方向不变 +空间位置不跳 +画面中可辨认 +``` + +--- + +## 锁定 + +⊢ 未批准前，天道宗牌匾不能进入成片主镜头。 +⊢ preview-002中的牌匾不作为批准资产，只作为失败样本。 diff --git a/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.png b/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.png new file mode 100644 index 0000000..d17eb05 Binary files /dev/null and b/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.png differ diff --git a/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.svg b/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.svg new file mode 100644 index 0000000..40eb637 --- /dev/null +++ b/assets/props/PROP-TDZ-PLAQUE/texture/tdz-plaque-texture.svg @@ -0,0 +1,36 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + 天 + 道 + 宗 + + + + + + + diff --git a/assets/qc/EP01-P0-ASSET-CANDIDATE-REVIEW.hdlp b/assets/qc/EP01-P0-ASSET-CANDIDATE-REVIEW.hdlp new file mode 100644 index 0000000..115be44 --- /dev/null +++ b/assets/qc/EP01-P0-ASSET-CANDIDATE-REVIEW.hdlp @@ -0,0 +1,155 @@ +# EP01 P0资产候选复盘 + +> HLDP://video-ai-system/assets/qc/EP01-P0-ASSET-CANDIDATE-REVIEW +> 类型: 资产候选检查 · D143c · 不改内容 +> 建立: 2026-06-23 +> 铸渊 ICE-GL-ZY001 + +--- + +## 检查原则 + +``` +剧本怎么写，就怎么拍。 +资产只服务原文搬屏，不承担内容改写。 +``` + +--- + +## CHAR-003-SuBai + +候选: + +``` +/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/char-003-subai-3d-reference-v2.png +``` + +观察: + +``` +优点: +- 3D风格清楚。 +- 白色长衫正确。 +- 少年感、自信笑容符合苏白。 +- 可作为正面半身候选。 + +不足: +- 只是标准人设照，不是双手叉腰喊话姿势。 +- 缺侧脸、全身、表情组、张嘴说话图。 +- 不能单独作为成片批准资产。 +``` + +裁决: + +``` +status: CANDIDATE +use: TEST-LINE-001 可作为角色参考输入之一 +need: 侧脸/全身/双手叉腰/张嘴表情补齐 +``` + +--- + +## PROP-TDZ-PLAQUE + +候选: + +``` +/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/prop-tiandaozong-vertical-plaque-reference.png +``` + +观察: + +``` +优点: +- 竖式悬挂正确。 +- 【天道宗】三字清楚。 +- 破旧感、绳索、木纹可用。 + +不足: +- 底色偏白，不完全等于“深棕木质+黑色墨迹”的锁定文本。 +- 更像白底旧牌，后续要决定是否接受这一视觉。 +- 需要正式贴图版本，避免跨镜重新生成。 +``` + +裁决: + +``` +status: CANDIDATE +use: TEST-PROP-001 可作为参考输入 +need: 正式贴图/正面透明纹理/侧角度图 +``` + +--- + +## PROP-FREE-AD-BOARD + +候选: + +``` +/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/prop-tiandaozong-ad-board-reference-v2.png +``` + +观察: + +``` +优点: +- 木质A字牌结构清楚。 +- 无乱字，适合后期贴文字。 +- 平面区域完整，利于透视贴图。 + +不足: +- 横版视角，需验证竖屏裁切。 +- 六行原文文字贴图已生成，但还未完成透视贴图上镜测试。 +``` + +裁决: + +``` +status: CANDIDATE_BASE +use: E1-SHOT04广告牌底板 +text_texture: video-ai-system/assets/props/PROP-FREE-AD-BOARD/texture/free-ad-board-texture.png +need: tracking test +``` + +--- + +## ENV-002-Baizonghui + +候选: + +``` +/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/图片/zai-fu-fei-xiu-xian/ep01/anchors/env-002-baizonghui-reference.png +``` + +观察: + +``` +优点: +- 百宗会广场氛围成立。 +- 人群、宗门摊位、仙侠山云、暖金光线可用。 + +不足: +- 横版。 +- 招牌文字漂移，不可作为最终文字资产。 +- 未明确天道宗“人群边缘角落”的空间布局。 +``` + +裁决: + +``` +status: CANDIDATE_ENV_MOOD +use: E1-SHOT01气氛参考 +need: 9:16布局图 + 天道宗角落空间图 +``` + +--- + +## 下一步 + +``` +1. 使用 char-003-subai-3d-reference-v2.png 作为 TEST-LINE-001 候选角色参考。 +2. 使用 prop-tiandaozong-vertical-plaque-reference.png 作为 TEST-PROP-001 候选牌匾参考。 +3. 使用 prop-tiandaozong-ad-board-reference-v2.png 作为广告牌底板候选。 +4. 使用 texture/free-ad-board-texture.png 固定六行原文文字。 +5. 不批准任何候选为 FINAL，直到通过口型/跨镜一致/竖屏裁切测试。 +``` diff --git a/assets/references/EP01-P0/ref-char003-subai-plus-tdz-plaque.png b/assets/references/EP01-P0/ref-char003-subai-plus-tdz-plaque.png new file mode 100644 index 0000000..fe01765 Binary files /dev/null and b/assets/references/EP01-P0/ref-char003-subai-plus-tdz-plaque.png differ diff --git a/assets/subtitle-styles/subtitle-style.reference-drama.json b/assets/subtitle-styles/subtitle-style.reference-drama.json new file mode 100644 index 0000000..6c5ae5f --- /dev/null +++ b/assets/subtitle-styles/subtitle-style.reference-drama.json @@ -0,0 +1,119 @@ +{ + "_comment": "参考短剧字幕样式配置 · subtitle-style.reference-drama.json", + "_description": "从样片截图量化得到的字幕标准，用于ASS字幕渲染", + "_version": "1.0", + "_date": "2026-06-24", + "_source": "渔乡守真心 样片分析", + + "video": { + "width": 1080, + "height": 1920, + "aspect_ratio": "9:16", + "scan_type": "progressive" + }, + + "subtitle_box": { + "x": 100, + "y": 1750, + "width": 880, + "height": 120, + "_unit": "px", + "_note": "字幕框位置（左下角x,y + 宽度,高度）" + }, + + "font": { + "family": "PingFang SC", + "size": 38, + "size_ratio": 0.0198, + "_note_size_ratio": "字号/视频高度 = 38/1920 = 0.0198", + "color": "&HFFFFFF&", + "color_hex": "#FFFFFF", + "bold": true, + "italic": false, + "underline": false, + "strikeout": false, + "_note_font": "使用PingFang SC粗体，白色" + }, + + "stroke": { + "enabled": true, + "width": 2, + "width_px": 2, + "color": "&H000000&", + "color_hex": "#000000", + "opacity": 0.92, + "_note": "黑色描边，宽度2px，用于白色字体轮廓" + }, + + "shadow": { + "enabled": false, + "depth": 0, + "color": "&H000000&", + "opacity": 0 + }, + + "position": { + "alignment": 2, + "_alignment_values": { + "1": "左下", + "2": "中下", + "3": "右下", + "4": "左中", + "5": "中中", + "6": "右中", + "7": "左上", + "8": "中上", + "9": "右上" + }, + "margin_left": 100, + "margin_right": 100, + "margin_vertical": 50, + "_note": "对齐方式=2（中下），水平边距100px，底部边距50px" + }, + + "spacing": { + "line_spacing": 1.45, + "letter_spacing": 0, + "_note": "行间距1.45倍，字间距默认" + }, + + "background": { + "enabled": false, + "color": "&H000000&", + "opacity": 0.6, + "padding": 20, + "_note": "参考短剧不使用背景框，纯字幕+描边" + }, + + "timing": { + "fade_in_ms": 150, + "fade_out_ms": 150, + "_note": "字幕淡入淡出150ms" + }, + + "qc_thresholds": { + "min_bottom_distance_ratio": 0.02, + "max_bottom_distance_ratio": 0.05, + "min_font_size_ratio": 0.015, + "max_font_size_ratio": 0.025, + "max_stroke_width_px": 3, + "min_contrast_ratio": 4.5, + "_note": "QC自动检查阈值" + }, + + "ass_template": { + "_comment": "ASS字幕格式模板，用于FFmpeg libass渲染", + "_example": "Dialogue: 0,0:00:01.00,0:00:03.50,Default,,0,0,0,,{\\pos(540,1850)\\fs38\\b1\\3c&H000000&\\4a&H40&\\fsp0}苏白：付费才能修仙？", + "format": "Dialogue: ,,,") + html_lines.append("") + html_lines.append("") + html_lines.append("

字幕预览检查图

") + + if video_path: + html_lines.append(f"

视频：{os.path.basename(video_path)}

") + + html_lines.append(f"

共 {len(frame_paths)} 帧

") + html_lines.append("
") + + for frame_path in frame_paths: + timestamp = os.path.basename(frame_path).split("_")[1].replace(".png", "") + rel_path = os.path.relpath(frame_path, os.path.dirname(output_path)) + + html_lines.append("
") + html_lines.append(f" ") + html_lines.append(f"
{timestamp}
") + html_lines.append("
") + + html_lines.append("
") + html_lines.append("") + html_lines.append("") + + # 写入文件 + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + with open(output_path, "w", encoding="utf-8") as f: + f.write("\n".join(html_lines)) + + print(f"[OK] HTML 预览页面已生成：{output_path}") + + +def main(): + parser = argparse.ArgumentParser( + description="Subtitle Preview Contact Sheet · 字幕预览检查图生成器", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python subtitle-preview-contact-sheet.py --video input.mp4 --subtitle-ass subtitles.ass --output preview.png + python subtitle-preview-contact-sheet.py --video input.mp4 --subtitle-ass subtitles.ass --generate-html --output preview.html + python subtitle-preview-contact-sheet.py --batch ./videos/ --subtitle-dir ./ass/ --output-dir ./previews/ +""" + ) + parser.add_argument("--video", help="视频文件路径") + parser.add_argument("--subtitle-ass", help="ASS 字幕文件路径") + parser.add_argument("--output", help="输出文件路径（PNG 或 HTML）") + parser.add_argument("--generate-html", action="store_true", help="生成 HTML 预览页面") + parser.add_argument("--batch", help="批量处理视频目录") + parser.add_argument("--subtitle-dir", help="字幕文件目录（用于批量处理）") + parser.add_argument("--output-dir", help="输出目录（用于批量处理）") + parser.add_argument("--max-frames", type=int, default=20, help="最大抽帧数量") + parser.add_argument("--cols", type=int, default=4, help="检查图列数") + parser.add_argument("--padding", type=int, default=10, help="内边距（像素）") + + args = parser.parse_args() + + if args.video: + # 单文件处理 + if not args.subtitle_ass: + print("[ERROR] 请指定 --subtitle-ass") + sys.exit(1) + + if not args.output: + print("[ERROR] 请指定 --output") + sys.exit(1) + + # 抽帧 + output_dir = os.path.dirname(args.output) + if not output_dir: + output_dir = "." + + frame_paths = extract_frames_by_subtitle(args.video, args.subtitle_ass, output_dir, args.max_frames) + + if not frame_paths: + sys.exit(1) + + # 生成检查图或 HTML + if args.generate_html: + generate_html_preview(frame_paths, args.output, args.video) + else: + generate_contact_sheet(frame_paths, args.output, args.cols, args.padding) + + elif args.batch: + # 批量处理 + if not args.subtitle_dir: + print("[ERROR] 批量处理需要指定 --subtitle-dir") + sys.exit(1) + + if not args.output_dir: + print("[ERROR] 批量处理需要指定 --output-dir") + sys.exit(1) + + os.makedirs(args.output_dir, exist_ok=True) + + for video_file in os.listdir(args.batch): + if video_file.lower().endswith((".mp4", ".mov", ".avi")): + video_path = os.path.join(args.batch, video_file) + + # 查找对应的字幕文件 + subtitle_file = video_file.replace(".mp4", ".ass").replace(".mov", ".ass").replace(".avi", ".ass") + subtitle_path = os.path.join(args.subtitle_dir, subtitle_file) + + if not os.path.isfile(subtitle_path): + print(f"[WARN] 未找到对应的字幕文件：{subtitle_file}") + continue + + print(f"\n[INFO] 处理视频：{video_file}") + + # 抽帧 + frame_paths = extract_frames_by_subtitle(video_path, subtitle_path, args.output_dir, args.max_frames) + + if frame_paths: + # 生成检查图 + output_path = os.path.join(args.output_dir, video_file.replace(".mp4", "_preview.png")) + generate_contact_sheet(frame_paths, output_path, args.cols, args.padding) + + # 生成 HTML + html_path = os.path.join(args.output_dir, video_file.replace(".mp4", "_preview.html")) + generate_html_preview(frame_paths, html_path, video_path) + + else: + print("[ERROR] 请指定 --video 或 --batch") + sys.exit(1) + + print("\n[OK] 处理完成") + + +if __name__ == "__main__": + main() diff --git a/engines/subtitle-pipeline/qc-tools/subtitle-safe-area-qc.py b/engines/subtitle-pipeline/qc-tools/subtitle-safe-area-qc.py new file mode 100644 index 0000000..aae6e05 --- /dev/null +++ b/engines/subtitle-pipeline/qc-tools/subtitle-safe-area-qc.py @@ -0,0 +1,507 @@ +#!/usr/bin/env python3 +""" +Subtitle Safe Area QC · 字幕安全区域质检器 +==========================​=================== +自动检查字幕有没有遮脸、遮身体表演、贴边、看不清。 + +依赖： + pip install opencv-python pillow numpy + # 可选：pip install face-recognition dlib # 人脸识别 + # 可选：pip install ultralytics # YOLO 人体检测 + +用法： + # 检查单张帧 + python subtitle-safe-area-qc.py --frame frame.png --subtitle-box x,y,w,h --output qc-report.json + + # 批量检查视频帧 + python subtitle-safe-area-qc.py --video input.mp4 --subtitle-ass subtitles.ass --output qc-report.json + + # 交互式标注模式（手动框选人脸/身体区域） + python subtitle-safe-area-qc.py --frame frame.png --interactive + + # 生成质检报告（包含问题帧截图） + python subtitle-safe-area-qc.py --video input.mp4 --subtitle-ass subtitles.ass --generate-report --output-dir ./qc-report/ + +输出 JSON 格式： + { + "frame": "frame_00123.png", + "timestamp": 12.34, + "issues": [ + {"type": "face_occlusion", "severity": "high", "bbox": [x,y,w,h]}, + {"type": "body_occlusion", "severity": "medium", "bbox": [x,y,w,h]}, + {"type": "edge_too_close", "severity": "low", "distance": 5}, + {"type": "low_contrast", "severity": "medium", "contrast_ratio": 2.1} + ], + "safe": false + } + +路径： + video-ai-system/engines/subtitle-pipeline/qc-tools/subtitle-safe-area-qc.py +""" + +import argparse +import json +import os +import sys +from pathlib import Path + +try: + import cv2 + import numpy as np + from PIL import Image +except ImportError as e: + print(f"[ERROR] 缺少依赖：{e}") + print("请先安装：pip install opencv-python pillow numpy") + sys.exit(1) + + +# 尝试导入可选依赖 +try: + import face_recognition + FACE_RECOGNITION_AVAILABLE = True +except ImportError: + FACE_RECOGNITION_AVAILABLE = False + print("[WARN] 未安装 face-recognition，将使用简化人脸检测") + +try: + from ultralytics import YOLO + YOLO_AVAILABLE = True +except ImportError: + YOLO_AVAILABLE = False + print("[WARN] 未安装 ultralytics，将使用简化身体检测") + + +def detect_faces(image: np.ndarray) -> list: + """ + 检测人脸区域 + + :param image: 图片数组 + :return: 人脸边界框列表 [[x,y,w,h], ...] + """ + if FACE_RECOGNITION_AVAILABLE: + # 使用 face_recognition 库（基于 dlib） + rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) + face_locations = face_recognition.face_locations(rgb_image) + + # 转换为 [x,y,w,h] 格式 + boxes = [] + for top, right, bottom, left in face_locations: + x = left + y = top + w = right - left + h = bottom - top + boxes.append([x, y, w, h]) + + return boxes + else: + # 简化方案：使用 OpenCV Haar Cascade + cascade_path = cv2.data.haarcascades + "haarcascade_frontalface_default.xml" + face_cascade = cv2.CascadeClassifier(cascade_path) + + gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) + faces = face_cascade.detectMultiScale(gray, 1.1, 4) + + return faces.tolist() if len(faces) > 0 else [] + + +def detect_body(image: np.ndarray) -> list: + """ + 检测身体区域 + + :param image: 图片数组 + :return: 身体边界框列表 [[x,y,w,h], ...] + """ + if YOLO_AVAILABLE: + # 使用 YOLO 检测人体 + model = YOLO("yolov8n.pt") # 自动下载 + results = model(image) + + boxes = [] + for result in results: + for box in result.boxes: + cls = int(box.cls[0]) + # COCO 数据集中，person 的类别 ID 是 0 + if cls == 0: + x1, y1, x2, y2 = box.xyxy[0].tolist() + boxes.append([int(x1), int(y1), int(x2-x1), int(y2-y1)]) + + return boxes + else: + # 简化方案：使用背景减除或轮廓检测 + print("[WARN] 未安装 YOLO，使用简化身体检测（可能不准确）") + + # 策略：检测图像中的大轮廓（假设身体是大区域） + gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) + _, binary = cv2.threshold(gray, 128, 255, cv2.THRESH_BINARY_INV) + + contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + + boxes = [] + for cnt in contours: + area = cv2.contourArea(cnt) + if area > image.shape[0] * image.shape[1] * 0.1: # 面积 > 10% + x, y, w, h = cv2.boundingRect(cnt) + boxes.append([x, y, w, h]) + + return boxes + + +def detect_subtitle_box(image: np.ndarray) -> list: + """ + 检测字幕框位置 + + :param image: 图片数组 + :return: 字幕边界框 [x,y,w,h] + """ + # 策略：检测底部区域的白色文本 + height, width = image.shape[:2] + + # 裁剪底部区域 + bottom_region = image[int(height * 0.85):, :] + + # 转为灰度图 + gray = cv2.cvtColor(bottom_region, cv2.COLOR_BGR2GRAY) + + # 二值化（检测白色文本） + _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY) + + # 查找轮廓 + contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + + if not contours: + return [0, int(height * 0.85), width, int(height * 0.12)] # 默认底部区域 + + # 收集所有轮廓的边界框 + all_x = [] + all_y = [] + all_w = [] + all_h = [] + + for cnt in contours: + x, y, w, h = cv2.boundingRect(cnt) + all_x.append(x) + all_y.append(y) + all_w.append(w) + all_h.append(h) + + # 合并所有轮廓的边界框 + # 先在 bottom_region 坐标系里算完，最后再加偏移 + x_bottom = min(all_x) + y_bottom = min(all_y) + max_x_bottom = max([all_x[i] + all_w[i] for i in range(len(all_x))]) + max_y_bottom = max([all_y[i] + all_h[i] for i in range(len(all_y))]) + w = max_x_bottom - x_bottom + h = max_y_bottom - y_bottom + + # 最后统一加偏移 + x = x_bottom + y = y_bottom + int(height * 0.85) + # w, h 不需要加偏移（它们是在bottom_region里的尺寸） + + return [x, y, w, h] + + +def calculate_iou(box1: list, box2: list) -> float: + """ + 计算两个边界框的 IOU（交并比） + + :param box1: 边界框1 [x,y,w,h] + :param box2: 边界框2 [x,y,w,h] + :return: IOU 值（0-1） + """ + x1 = max(box1[0], box2[0]) + y1 = max(box1[1], box2[1]) + x2 = min(box1[0] + box1[2], box2[0] + box2[2]) + y2 = min(box1[1] + box1[3], box2[1] + box2[3]) + + if x2 < x1 or y2 < y1: + return 0.0 + + intersection = (x2 - x1) * (y2 - y1) + area1 = box1[2] * box1[3] + area2 = box2[2] * box2[3] + union = area1 + area2 - intersection + + return intersection / union if union > 0 else 0.0 + + +def check_subtitle_safe_area(image_path: str, subtitle_box: list = None, interactive: bool = False) -> dict: + """ + 检查字幕安全区域 + + :param image_path: 图片路径 + :param subtitle_box: 字幕框 [x,y,w,h]（如果为 None，自动检测） + :param interactive: 是否交互式标注 + :return: 质检报告字典 + """ + # 读取图片 + img = cv2.imread(image_path) + if img is None: + print(f"[ERROR] 无法读取图片：{image_path}") + return {} + + height, width = img.shape[:2] + print(f"[INFO] 检查图片：{image_path} ({width}x{height})") + + # 检测字幕框 + if subtitle_box is None: + if interactive: + print("[INFO] 交互式标注模式：请手动框选字幕区域") + roi = cv2.selectROI("Select Subtitle Region", img, showCrosshair=True) + cv2.destroyAllWindows() + subtitle_box = [int(roi[0]), int(roi[1]), int(roi[2]), int(roi[3])] + else: + subtitle_box = detect_subtitle_box(img) + + print(f"[INFO] 字幕框：x={subtitle_box[0]}, y={subtitle_box[1]}, w={subtitle_box[2]}, h={subtitle_box[3]}") + + # 检测人脸 + print("[INFO] 检测人脸...") + face_boxes = detect_faces(img) + print(f"[INFO] 找到 {len(face_boxes)} 个人脸") + + # 检测身体 + print("[INFO] 检测身体...") + body_boxes = detect_body(img) + print(f"[INFO] 找到 {len(body_boxes)} 个身体区域") + + # 检查问题 + issues = [] + + # 1. 检查是否遮挡脸部 + for i, face_box in enumerate(face_boxes): + iou = calculate_iou(subtitle_box, face_box) + if iou > 0.1: # IOU > 10% 认为有遮挡 + severity = "high" if iou > 0.5 else "medium" + issues.append({ + "type": "face_occlusion", + "severity": severity, + "bbox": face_box, + "iou": round(iou, 2), + "message": f"字幕遮挡脸部（IOU={iou:.2f}）" + }) + print(f"[ISSUE] 字幕遮挡脸部（IOU={iou:.2f}）") + + # 2. 检查是否遮挡身体 + for i, body_box in enumerate(body_boxes): + iou = calculate_iou(subtitle_box, body_box) + if iou > 0.2: # IOU > 20% 认为有遮挡 + severity = "high" if iou > 0.6 else "medium" + issues.append({ + "type": "body_occlusion", + "severity": severity, + "bbox": body_box, + "iou": round(iou, 2), + "message": f"字幕遮挡身体（IOU={iou:.2f}）" + }) + print(f"[ISSUE] 字幕遮挡身体（IOU={iou:.2f}）") + + # 3. 检查是否贴边 + edge_threshold = 20 # 像素 + if subtitle_box[0] < edge_threshold: + issues.append({ + "type": "edge_too_close", + "severity": "low", + "distance": subtitle_box[0], + "message": f"字幕距离左边缘太近（{subtitle_box[0]}px）" + }) + print(f"[ISSUE] 字幕距离左边缘太近（{subtitle_box[0]}px）") + + if (subtitle_box[0] + subtitle_box[2]) > (width - edge_threshold): + distance = (subtitle_box[0] + subtitle_box[2]) - width + issues.append({ + "type": "edge_too_close", + "severity": "low", + "distance": abs(distance), + "message": f"字幕距离右边缘太近（{abs(distance)}px）" + }) + print(f"[ISSUE] 字幕距离右边缘太近（{abs(distance)}px）") + + # 4. 检查对比度（字幕是否看不清） + # 简化方案：计算字幕区域和背景的平均亮度差 + subtitle_region = img[ + subtitle_box[1]:subtitle_box[1]+subtitle_box[3], + subtitle_box[0]:subtitle_box[0]+subtitle_box[2] + ] + + if subtitle_region.size > 0: + # 计算字幕区域的平均亮度 + subtitle_gray = cv2.cvtColor(subtitle_region, cv2.COLOR_BGR2GRAY) + subtitle_brightness = np.mean(subtitle_gray) + + # 计算背景区域的平均亮度（字幕框上方的区域） + background_region = img[ + max(0, subtitle_box[1]-subtitle_box[3]):subtitle_box[1], + subtitle_box[0]:subtitle_box[0]+subtitle_box[2] + ] + + if background_region.size > 0: + background_gray = cv2.cvtColor(background_region, cv2.COLOR_BGR2GRAY) + background_brightness = np.mean(background_gray) + + # 计算对比度（亮度差） + contrast = abs(subtitle_brightness - background_brightness) + contrast_ratio = contrast / max(subtitle_brightness, background_brightness) + + if contrast_ratio < 0.3: # 对比度 < 30% 认为看不清 + severity = "high" if contrast_ratio < 0.1 else "medium" + issues.append({ + "type": "low_contrast", + "severity": severity, + "contrast_ratio": round(contrast_ratio, 2), + "message": f"字幕对比度太低（{contrast_ratio:.2f}），可能看不清" + }) + print(f"[ISSUE] 字幕对比度太低（{contrast_ratio:.2f}），可能看不清") + + # 生成报告 + report = { + "image_path": image_path, + "video_width": width, + "video_height": height, + "subtitle_box": subtitle_box, + "face_boxes": face_boxes, + "body_boxes": body_boxes, + "issues": issues, + "safe": len(issues) == 0, + "issue_count": len(issues) + } + + if report["safe"]: + print(f"[OK] 字幕安全区域检查通过") + else: + print(f"[WARN] 发现 {len(issues)} 个问题") + + return report + + +def batch_check_video(video_path: str, ass_path: str, output_dir: str, sample_interval: float = 1.0): + """ + 批量检查视频帧 + + :param video_path: 视频文件路径 + :param ass_path: ASS 字幕文件路径 + :param output_dir: 输出目录 + :param sample_interval: 采样间隔（秒） + """ + # 打开视频 + cap = cv2.VideoCapture(video_path) + if not cap.isOpened(): + print(f"[ERROR] 无法打开视频：{video_path}") + return + + fps = cap.get(cv2.CAP_PROP_FPS) + total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) + + print(f"[INFO] 视频信息：{total_frames} 帧，{fps} FPS") + + # 创建输出目录 + os.makedirs(output_dir, exist_ok=True) + frames_dir = os.path.join(output_dir, "problem-frames/") + os.makedirs(frames_dir, exist_ok=True) + + # 读取 ASS 字幕文件（获取字幕时间点） + # 简化方案：假设字幕在底部，直接检测 + # TODO: 解析 ASS 文件，获取准确的字幕时间点 + + reports = [] + frame_count = 0 + + while True: + ret, frame = cap.read() + if not ret: + break + + timestamp = frame_count / fps + + # 按采样间隔检查 + if timestamp % sample_interval < (1.0 / fps): + # 保存帧为临时文件 + temp_frame_path = os.path.join(output_dir, f"temp_frame_{frame_count:06d}.png") + cv2.imwrite(temp_frame_path, frame) + + # 检查字幕安全区域 + report = check_subtitle_safe_area(temp_frame_path) + + if report and not report["safe"]: + # 保存问题帧 + problem_frame_path = os.path.join(frames_dir, f"problem_{frame_count:06d}.png") + cv2.imwrite(problem_frame_path, frame) + + report["timestamp"] = timestamp + report["problem_frame"] = problem_frame_path + reports.append(report) + + print(f"[WARN] 发现问题的帧：{timestamp:.2f}s") + + # 删除临时文件 + os.remove(temp_frame_path) + + frame_count += 1 + + cap.release() + + # 保存报告 + report_path = os.path.join(output_dir, "qc-report.json") + with open(report_path, "w", encoding="utf-8") as f: + json.dump(reports, f, ensure_ascii=False, indent=2) + + print(f"\n[OK] 批量检查完成") + print(f"[INFO] 共检查 {frame_count} 帧，发现 {len(reports)} 个有问题帧") + print(f"[INFO] 报告已保存：{report_path}") + + +def main(): + parser = argparse.ArgumentParser( + description="Subtitle Safe Area QC · 字幕安全区域质检器", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python subtitle-safe-area-qc.py --frame frame.png --subtitle-box 100,1750,880,120 --output qc-report.json + python subtitle-safe-area-qc.py --video input.mp4 --subtitle-ass subtitles.ass --output qc-report.json + python subtitle-safe-area-qc.py --frame frame.png --interactive +""" + ) + parser.add_argument("--frame", help="单张帧图片路径") + parser.add_argument("--video", help="视频文件路径（批量检查）") + parser.add_argument("--subtitle-box", help="字幕框坐标 x,y,w,h（逗号分隔）") + parser.add_argument("--subtitle-ass", help="ASS 字幕文件路径（用于批量检查）") + parser.add_argument("--output", help="输出报告文件路径") + parser.add_argument("--interactive", action="store_true", help="交互式标注模式") + parser.add_argument("--generate-report", action="store_true", help="生成质检报告（包含问题帧截图）") + parser.add_argument("--output-dir", help="输出目录（用于批量检查）") + parser.add_argument("--sample-interval", type=float, default=1.0, help="采样间隔（秒，用于批量检查）") + + args = parser.parse_args() + + if args.frame: + # 单张帧检查 + subtitle_box = None + if args.subtitle_box: + subtitle_box = [int(x) for x in args.subtitle_box.split(",")] + + report = check_subtitle_safe_area(args.frame, subtitle_box, args.interactive) + + if not report: + sys.exit(1) + + if args.output: + with open(args.output, "w", encoding="utf-8") as f: + json.dump(report, f, ensure_ascii=False, indent=2) + print(f"[OK] 质检报告已保存：{args.output}") + + elif args.video: + # 批量检查 + if not args.subtitle_ass: + print("[ERROR] 批量检查需要指定 --subtitle-ass") + sys.exit(1) + + output_dir = args.output_dir or "./qc-report/" + batch_check_video(args.video, args.subtitle_ass, output_dir, args.sample_interval) + + else: + print("[ERROR] 请指定 --frame 或 --video") + sys.exit(1) + + +if __name__ == "__main__": + main() diff --git a/engines/subtitle-pipeline/reference-analysis/ass-subtitle-renderer.py b/engines/subtitle-pipeline/reference-analysis/ass-subtitle-renderer.py new file mode 100644 index 0000000..efca922 --- /dev/null +++ b/engines/subtitle-pipeline/reference-analysis/ass-subtitle-renderer.py @@ -0,0 +1,400 @@ +#!/usr/bin/env python3 +""" +ASS Subtitle Renderer · ASS字幕渲染器 +==========================​=========== +用 ASS/libass 正式渲染字幕，支持字体、粗体、描边、边距、对齐。 +不再用 Pillow PNG 凑合。 + +依赖： + pip install pysrt + # FFmpeg 需要编译时启用 libass 支持（通常默认启用） + +用法： + # 生成 ASS 字幕文件 + python ass-subtitle-renderer.py --srt input.srt --style reference-drama --output subtitles.ass + + # 用 FFmpeg + libass 烧字幕到视频 + python ass-subtitle-renderer.py --srt input.srt --video input.mp4 --output output.mp4 --style reference-drama + + # 指定自定义样式配置 + python ass-subtitle-renderer.py --srt input.srt --config custom-style.json --output subtitles.ass + + # 批量处理多集 + python ass-subtitle-renderer.py --batch ./srt/ --style reference-drama --output-dir ./ass/ + +输出： + - ASS 字幕文件（可直接用 FFmpeg 烧录） + - 烧录字幕后的视频（可选） + +路径： + video-ai-system/engines/subtitle-pipeline/reference-analysis/ass-subtitle-renderer.py +""" + +import argparse +import json +import os +import subprocess +import sys +from pathlib import Path + +try: + import pysrt +except ImportError: + print("[ERROR] 缺少依赖：pysrt") + print("请先安装：pip install pysrt") + sys.exit(1) + + +# 默认样式配置（参考短剧风格） +DEFAULT_STYLE = { + "video_width": 1080, + "video_height": 1920, + "font_family": "PingFang SC", + "font_size": 38, + "font_color": "&HFFFFFF&", # 白色（ASS格式：&HBBGGRR&） + "font_color_hex": "#FFFFFF", + "bold": True, + "italic": False, + "underline": False, + "strikeout": False, + "stroke_enabled": True, + "stroke_width": 2, + "stroke_color": "&H000000&", # 黑色描边 + "stroke_opacity": 0.92, # &H40&（0-255，0=透明，255=不透明） + "shadow_enabled": False, + "shadow_depth": 0, + "alignment": 2, # 2=中下 + "margin_left": 100, + "margin_right": 100, + "margin_vertical": 50, + "line_spacing": 1.45, + "letter_spacing": 0, + "background_enabled": False, + "fade_in_ms": 150, + "fade_out_ms": 150, +} + + +def load_style_config(config_path: str = None, style_name: str = "reference-drama") -> dict: + """ + 加载样式配置 + + :param config_path: 自定义配置文件路径 + :param style_name: 预设样式名称 + :return: 样式字典 + """ + if config_path and os.path.isfile(config_path): + with open(config_path, "r", encoding="utf-8") as f: + config = json.load(f) + print(f"[INFO] 已加载自定义样式配置：{config_path}") + return config + + # 尝试从 assets/subtitle-styles/ 加载预设样式 + style_file = os.path.join( + os.path.dirname(__file__), + "..", "..", "..", "assets", "subtitle-styles", + f"subtitle-style.{style_name}.json" + ) + style_file = os.path.abspath(style_file) + + if os.path.isfile(style_file): + with open(style_file, "r", encoding="utf-8") as f: + config = json.load(f) + print(f"[INFO] 已加载预设样式：{style_name}") + return config + + print(f"[WARN] 未找到样式配置，使用默认样式") + return DEFAULT_STYLE + + +def srt_time_to_ass(srt_time) -> str: + """ + 将 pysrt 时间对象转换为 ASS 时间戳格式 + + :param srt_time: pysrt 时间对象 + :return: ASS 时间戳字符串（H:MM:SS.cc） + """ + hours = srt_time.hours + minutes = srt_time.minutes + seconds = srt_time.seconds + milliseconds = srt_time.milliseconds + + # ASS 时间戳格式：H:MM:SS.cc（cc=厘秒，1/100秒） + centiseconds = milliseconds // 10 + return f"{hours}:{minutes:02d}:{seconds:02d}.{centiseconds:02d}" + + +def generate_ass_file(srt_path: str, output_path: str, style: dict) -> bool: + """ + 将 SRT 字幕转换为 ASS 格式 + + :param srt_path: SRT 文件路径 + :param output_path: 输出 ASS 文件路径 + :param style: 样式字典 + :return: 是否成功 + """ + if not os.path.isfile(srt_path): + print(f"[ERROR] SRT 文件不存在：{srt_path}") + return False + + # 加载 SRT + try: + subs = pysrt.open(srt_path, encoding="utf-8") + except Exception as e: + print(f"[ERROR] 加载 SRT 失败：{e}") + return False + + print(f"[INFO] 找到 {len(subs)} 条字幕，开始生成 ASS 文件...") + + # 构建 ASS 文件内容 + ass_lines = [] + + # 1. [Script Info] 节 + ass_lines.append("[Script Info]") + ass_lines.append("; Script generated by ASS Subtitle Renderer") + ass_lines.append(f"PlayResX: {style.get('video_width', 1080)}") + ass_lines.append(f"PlayResY: {style.get('video_height', 1920)}") + ass_lines.append("Aspect Ratio: 9:16") + ass_lines.append("") + + # 2. [V4+ Styles] 节 + ass_lines.append("[V4+ Styles]") + ass_lines.append( + "Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, " + "Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, " + "BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding" + ) + + # 构建样式行 + font_name = style.get("font_family", "PingFang SC") + font_size = style.get("font_size", 38) + primary_colour = style.get("font_color", "&HFFFFFF&") + outline_colour = style.get("stroke_color", "&H000000&") + + # 背景色（如果启用背景） + if style.get("background_enabled", False): + bg_opacity = int(style.get("background_opacity", 0.6) * 255) + back_colour = f"&H{bg_opacity:02X}000000&" # &HAAKKBBDD& + else: + back_colour = "&H00000000&" # 透明 + + bold = -1 if style.get("bold", True) else 0 + italic = -1 if style.get("italic", False) else 0 + underline = -1 if style.get("underline", False) else 0 + strikeout = -1 if style.get("strikeout", False) else 0 + + outline_width = style.get("stroke_width", 2) if style.get("stroke_enabled", True) else 0 + shadow_depth = style.get("shadow_depth", 0) if style.get("shadow_enabled", False) else 0 + + alignment = style.get("alignment", 2) + margin_l = style.get("margin_left", 100) + margin_r = style.get("margin_right", 100) + margin_v = style.get("margin_vertical", 50) + + style_line = ( + f"Style: Default,{font_name},{font_size},{primary_colour},&H000000FF&,{outline_colour},{back_colour}," + f"{bold},{italic},{underline},{strikeout},100,100,{style.get('letter_spacing', 0)},0," + f"1,{outline_width},{shadow_depth},{alignment},{margin_l},{margin_r},{margin_v},1" + ) + ass_lines.append(style_line) + ass_lines.append("") + + # 3. [Events] 节 + ass_lines.append("[Events]") + ass_lines.append("Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text") + + for sub in subs: + start_time = srt_time_to_ass(sub.start) + end_time = srt_time_to_ass(sub.end) + text = sub.text.strip() + + # 添加淡入淡出效果（如果启用） + fade_in = style.get("fade_in_ms", 150) + fade_out = style.get("fade_out_ms", 150) + + if fade_in > 0 and fade_out > 0: + # ASS 淡入淡出标签：{\fad(fade_in,fade_out)} + effect_tags = f"{{\\fad({fade_in},{fade_out})}}" + else: + effect_tags = "" + + # 转义特殊字符（ASS 格式） + text = text.replace("\\", "\\\\") + text = text.replace("{", "\\{") + text = text.replace("}", "\\}") + text = text.replace("\n", "\\N") # ASS 换行符 + + # 构建对话行 + dialogue_line = ( + f"Dialogue: 0,{start_time},{end_time},Default,,0,0,0,,{effect_tags}{text}" + ) + ass_lines.append(dialogue_line) + + # 写入 ASS 文件 + try: + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + with open(output_path, "w", encoding="utf-8-sig") as f: # UTF-8 BOM for ASS + f.write("\n".join(ass_lines)) + + print(f"[OK] ASS 字幕文件已生成：{output_path}") + print(f"[INFO] 共 {len(subs)} 条字幕") + return True + + except Exception as e: + print(f"[ERROR] 写入 ASS 文件失败：{e}") + return False + + +def burn_subtitles_with_ffmpeg(video_path: str, ass_path: str, output_path: str) -> bool: + """ + 用 FFmpeg + libass 烧录字幕到视频 + + :param video_path: 输入视频路径 + :param ass_path: ASS 字幕文件路径 + :param output_path: 输出视频路径 + :return: 是否成功 + """ + if not os.path.isfile(video_path): + print(f"[ERROR] 视频文件不存在：{video_path}") + return False + + if not os.path.isfile(ass_path): + print(f"[ERROR] ASS 字幕文件不存在：{ass_path}") + return False + + # 使用 subtitles 滤镜（更通用，支持 SRT/ASS 等多种格式） + # 正确语法：subtitles=filename='path' （需要 filename= 前缀） + ass_path_escaped = ass_path.replace(":", "\\:").replace("'", "'\\''") + + cmd = [ + "ffmpeg", "-y", + "-i", video_path, + "-vf", f"subtitles=filename='{ass_path_escaped}'", + "-c:v", "libx264", + "-pix_fmt", "yuv420p", + "-c:a", "copy", + "-shortest", + output_path + ] + + print(f"[INFO] 开始用 FFmpeg + libass 烧录字幕...") + print(f"[INFO] 命令：{' '.join(cmd[:10])}...") # 只打印前10个参数 + + try: + result = subprocess.run(cmd, check=False, capture_output=True, text=True) + except FileNotFoundError: + print("[ERROR] 未找到 ffmpeg，请先安装 FFmpeg") + print("安装方法：") + print(" macOS: brew install ffmpeg") + print(" Ubuntu: sudo apt install ffmpeg") + return False + + if result.returncode != 0: + print("[ERROR] FFmpeg 烧录字幕失败") + print(result.stderr[-2000:]) # 打印最后2000字符的错误信息 + return False + + if os.path.isfile(output_path) and os.path.getsize(output_path) > 0: + print(f"[OK] 字幕已烧录到视频：{output_path}") + return True + + print(f"[ERROR] 输出视频未生成：{output_path}") + return False + + +def batch_process(srt_dir: str, output_dir: str, style: dict, burn_video: bool = False, video_dir: str = None): + """ + 批量处理 SRT 文件 + + :param srt_dir: SRT 文件目录 + :param output_dir: 输出目录 + :param style: 样式字典 + :param burn_video: 是否烧录到视频 + :param video_dir: 视频文件目录（如果 burn_video=True） + """ + os.makedirs(output_dir, exist_ok=True) + + for file in os.listdir(srt_dir): + if file.lower().endswith(".srt"): + srt_path = os.path.join(srt_dir, file) + ass_output = os.path.join(output_dir, file.replace(".srt", ".ass")) + + print(f"\n[INFO] 处理文件：{file}") + ok = generate_ass_file(srt_path, ass_output, style) + + if ok and burn_video and video_dir: + # 查找对应的视频文件 + video_file = file.replace(".srt", ".mp4") + video_path = os.path.join(video_dir, video_file) + + if os.path.isfile(video_path): + video_output = os.path.join(output_dir, video_file) + burn_subtitles_with_ffmpeg(video_path, ass_output, video_output) + else: + print(f"[WARN] 未找到对应的视频文件：{video_file}") + + +def main(): + parser = argparse.ArgumentParser( + description="ASS Subtitle Renderer · ASS字幕渲染器", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python ass-subtitle-renderer.py --srt input.srt --style reference-drama --output subtitles.ass + python ass-subtitle-renderer.py --srt input.srt --video input.mp4 --output output.mp4 --style reference-drama + python ass-subtitle-renderer.py --batch ./srt/ --style reference-drama --output-dir ./ass/ +""" + ) + parser.add_argument("--srt", help="输入 SRT 文件路径") + parser.add_argument("--video", help="输入视频路径（可选，用于直接烧录字幕）") + parser.add_argument("--output", help="输出文件路径（ASS 或 MP4）") + parser.add_argument("--style", default="reference-drama", help="样式名称或配置文件路径") + parser.add_argument("--config", help="自定义样式配置文件路径（覆盖 --style）") + parser.add_argument("--batch", help="批量处理 SRT 文件目录") + parser.add_argument("--output-dir", help="批量处理输出目录") + parser.add_argument("--burn-video", action="store_true", help="是否烧录字幕到视频") + parser.add_argument("--video-dir", help="视频文件目录（配合 --burn-video 使用）") + + args = parser.parse_args() + + # 加载样式配置 + if args.config: + style = load_style_config(config_path=args.config) + else: + style = load_style_config(style_name=args.style) + + if args.srt: + # 单文件处理 + if not args.output: + print("[ERROR] 请指定 --output") + sys.exit(1) + + # 生成 ASS 文件 + ok = generate_ass_file(args.srt, args.output, style) + if not ok: + sys.exit(1) + + # 如果指定了视频，则烧录字幕 + if args.video: + video_output = args.output.replace(".ass", ".mp4") + burn_ok = burn_subtitles_with_ffmpeg(args.video, args.output, video_output) + if not burn_ok: + sys.exit(1) + + elif args.batch: + # 批量处理 + if not args.output_dir: + print("[ERROR] 批量处理需要指定 --output-dir") + sys.exit(1) + + batch_process(args.batch, args.output_dir, style, args.burn_video, args.video_dir) + + else: + print("[ERROR] 请指定 --srt 或 --batch") + sys.exit(1) + + print("\n[OK] 处理完成") + + +if __name__ == "__main__": + main() diff --git a/engines/subtitle-pipeline/reference-analysis/reference-subtitle-analyzer.py b/engines/subtitle-pipeline/reference-analysis/reference-subtitle-analyzer.py new file mode 100644 index 0000000..721cea8 --- /dev/null +++ b/engines/subtitle-pipeline/reference-analysis/reference-subtitle-analyzer.py @@ -0,0 +1,321 @@ +#!/usr/bin/env python3 +""" +Reference Subtitle Analyzer · 样片字幕量化分析器 +============================================== +从样片截图里量字幕：字高、底部距离、描边宽度、字幕框位置、字号比例。 + +依赖： + pip install opencv-python pillow numpy + +用法： + # 分析单张截图 + python reference-subtitle-analyzer.py --image reference-frame.png --output analysis.json + + # 批量分析样片截图 + python reference-subtitle-analyzer.py --batch ./reference-frames/ --output batch-analysis.json + + # 交互式标注模式（手动框选字幕区域） + python reference-subtitle-analyzer.py --image reference-frame.png --interactive + +输出 JSON 格式： + { + "video_height": 1920, + "video_width": 1080, + "subtitle_box": { + "x": 100, + "y": 1750, + "width": 880, + "height": 120 + }, + "subtitle_height_px": 120, + "bottom_distance_px": 50, + "bottom_distance_ratio": 0.026, + "font_size_ratio": 0.0625, + "stroke_width_px": 2, + "alignment": "center", + "margin_horizontal_px": 100 + } + +路径： + video-ai-system/engines/subtitle-pipeline/reference-analysis/reference-subtitle-analyzer.py +""" + +import argparse +import json +import os +import sys +from pathlib import Path + +try: + import cv2 + import numpy as np + from PIL import Image +except ImportError as e: + print(f"[ERROR] 缺少依赖：{e}") + print("请先安装：pip install opencv-python pillow numpy") + sys.exit(1) + + +def analyze_subtitle_region(image_path: str, interactive: bool = False) -> dict: + """ + 分析字幕区域，量化字幕参数 + + :param image_path: 截图路径 + :param interactive: 是否交互式标注（手动框选字幕区域） + :return: 字幕参数字典 + """ + # 读取图片 + img = cv2.imread(image_path) + if img is None: + print(f"[ERROR] 无法读取图片：{image_path}") + return {} + + height, width = img.shape[:2] + print(f"[INFO] 图片尺寸：{width}x{height}") + + if interactive: + # 交互式标注模式：手动框选字幕区域 + print("[INFO] 交互式标注模式：请在弹出的窗口中用鼠标框选字幕区域") + print("[INFO] 框选完成后按空格或回车确认，按ESC取消") + + roi = cv2.selectROI("Select Subtitle Region", img, showCrosshair=True) + cv2.destroyAllWindows() + + x, y, w, h = int(roi[0]), int(roi[1]), int(roi[2]), int(roi[3]) + if w == 0 or h == 0: + print("[ERROR] 未框选字幕区域") + return {} + else: + # 自动检测字幕区域（假设字幕在底部） + # 策略：检测底部区域的文本（通过边缘检测 + 轮廓查找） + print("[INFO] 自动检测字幕区域...") + + # 1. 裁剪底部区域（假设字幕在底部 15% 区域） + bottom_region = img[int(height * 0.85):, :] + + # 2. 转为灰度图 + gray = cv2.cvtColor(bottom_region, cv2.COLOR_BGR2GRAY) + + # 3. 二值化（检测白色文本） + _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY) + + # 4. 查找轮廓 + contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + + if not contours: + print("[WARN] 未检测到字幕区域，使用默认底部区域") + # 使用默认底部区域 + x = int(width * 0.1) + y = int(height * 0.85) + w = int(width * 0.8) + h = int(height * 0.12) + else: + # 合并所有轮廓的边界框 + # 正确算式：找到所有轮廓的最小外接矩形 + all_x = [] + all_y = [] + all_w = [] + all_h = [] + + for cnt in contours: + cx, cy, cw, ch = cv2.boundingRect(cnt) + all_x.append(cx) + all_y.append(cy) + all_w.append(cw) + all_h.append(ch) + + # 正确合并：先在 bottom_region 坐标系里算完，最后再加偏移 + x_bottom = min(all_x) + y_bottom = min(all_y) + max_x_bottom = max([all_x[i] + all_w[i] for i in range(len(all_x))]) + max_y_bottom = max([all_y[i] + all_h[i] for i in range(len(all_y))]) + w = max_x_bottom - x_bottom + h = max_y_bottom - y_bottom + + # 扩展边界框（包含描边） + padding = 10 + x = max(0, x_bottom - padding) + y = max(0, y_bottom - padding) + int(height * 0.85) # 偏移只加一次，在最后 + w = min(width - x, w + 2 * padding) + h = min(height - y, h + 2 * padding) + + # 计算字幕参数 + # 先做边界校验，防止裁剪出空数组 + x = max(0, min(x, width - 1)) + y = max(0, min(y, height - 1)) + w = max(1, min(w, width - x)) + h = max(1, min(h, height - y)) + + subtitle_box = {"x": x, "y": y, "width": w, "height": h} + subtitle_height_px = h + bottom_distance_px = height - (y + h) + bottom_distance_ratio = bottom_distance_px / height + font_size_ratio = h / height + + # 估算描边宽度（通过检测文本边缘的黑色像素） + stroke_width_px = estimate_stroke_width(img, x, y, w, h) + + # 判断对齐方式（居中/左对齐/右对齐） + alignment = "center" if abs(x + w/2 - width/2) < width * 0.1 else "left" if x < width * 0.3 else "right" + + # 计算水平边距 + margin_horizontal_px = x + + result = { + "image_path": image_path, + "video_width": width, + "video_height": height, + "subtitle_box": subtitle_box, + "subtitle_height_px": subtitle_height_px, + "bottom_distance_px": bottom_distance_px, + "bottom_distance_ratio": round(bottom_distance_ratio, 4), + "font_size_ratio": round(font_size_ratio, 4), + "stroke_width_px": stroke_width_px, + "alignment": alignment, + "margin_horizontal_px": margin_horizontal_px + } + + print(f"[OK] 字幕参数已量化：") + print(f" 字幕框：x={x}, y={y}, w={w}, h={h}") + print(f" 字高：{subtitle_height_px}px") + print(f" 底部距离：{bottom_distance_px}px ({bottom_distance_ratio*100:.1f}%)") + print(f" 字号比例：{font_size_ratio*100:.1f}%") + print(f" 描边宽度：{stroke_width_px}px") + print(f" 对齐方式：{alignment}") + + return result + + +def estimate_stroke_width(img: np.ndarray, x: int, y: int, w: int, h: int) -> int: + """ + 估算描边宽度（通过检测文本边缘的黑色像素） + + :param img: 图片数组 + :param x: 字幕框 x 坐标 + :param y: 字幕框 y 坐标 + :param w: 字幕框宽度 + :param h: 字幕框高度 + :return: 估算的描边宽度（像素） + """ + # 裁剪字幕区域 + subtitle_region = img[y:y+h, x:x+w] + + # 转为灰度图 + gray = cv2.cvtColor(subtitle_region, cv2.COLOR_BGR2GRAY) + + # 检测边缘（Canny） + edges = cv2.Canny(gray, 100, 200) + + # 统计边缘像素到文本区域的距离（估算描边宽度） + # 简化方案：假设描边是黑色，检测白色文本周围的黑色像素环 + _, binary = cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY) + + # 形态学操作：膨胀（模拟描边） + kernel = np.ones((3, 3), np.uint8) + dilated = cv2.dilate(binary, kernel, iterations=1) + + # 计算膨胀后的边缘宽度 + edge_width = cv2.absdiff(dilated, binary) + stroke_pixels = cv2.countNonZero(edge_width) + + # 估算平均描边宽度 + if stroke_pixels > 0: + # 简化：假设描边宽度是 1-3px + return 2 # 默认值，实际应通过更精确的算法计算 + else: + return 0 + + +def batch_analyze(images_dir: str) -> dict: + """ + 批量分析样片截图 + + :param images_dir: 截图目录 + :return: 批量分析结果 + """ + results = {} + image_extensions = [".jpg", ".jpeg", ".png", ".bmp"] + + for file in os.listdir(images_dir): + if any(file.lower().endswith(ext) for ext in image_extensions): + image_path = os.path.join(images_dir, file) + print(f"\n[INFO] 分析图片：{file}") + result = analyze_subtitle_region(image_path) + if result: + results[file] = result + + # 计算平均值 + if results: + avg_result = calculate_average(results) + results["_average"] = avg_result + + return results + + +def calculate_average(results: dict) -> dict: + """ + 计算批量分析结果的平均值 + + :param results: 批量分析结果 + :return: 平均值字典 + """ + keys = ["subtitle_height_px", "bottom_distance_px", "bottom_distance_ratio", + "font_size_ratio", "stroke_width_px", "margin_horizontal_px"] + + avg = {} + for key in keys: + values = [r[key] for r in results.values() if key in r] + if values: + avg[key] = round(sum(values) / len(values), 2) + + avg["alignment"] = max(set(r["alignment"] for r in results.values()), + key=lambda x: sum(1 for r in results.values() if r["alignment"] == x)) + + return avg + + +def main(): + parser = argparse.ArgumentParser( + description="Reference Subtitle Analyzer · 样片字幕量化分析器", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python reference-subtitle-analyzer.py --image reference-frame.png --output analysis.json + python reference-subtitle-analyzer.py --batch ./reference-frames/ --output batch-analysis.json + python reference-subtitle-analyzer.py --image reference-frame.png --interactive +""" + ) + parser.add_argument("--image", help="单张截图路径") + parser.add_argument("--batch", help="批量分析截图目录") + parser.add_argument("--output", required=True, help="输出 JSON 文件路径") + parser.add_argument("--interactive", action="store_true", help="交互式标注模式") + + args = parser.parse_args() + + if args.image: + result = analyze_subtitle_region(args.image, args.interactive) + if not result: + sys.exit(1) + + with open(args.output, "w", encoding="utf-8") as f: + json.dump(result, f, ensure_ascii=False, indent=2) + + print(f"\n[OK] 分析结果已保存：{args.output}") + + elif args.batch: + results = batch_analyze(args.batch) + + with open(args.output, "w", encoding="utf-8") as f: + json.dump(results, f, ensure_ascii=False, indent=2) + + print(f"\n[OK] 批量分析结果已保存：{args.output}") + if "_average" in results: + print(f"[INFO] 平均字幕参数：{results['_average']}") + + else: + print("[ERROR] 请指定 --image 或 --batch") + sys.exit(1) + + +if __name__ == "__main__": + main() diff --git a/engines/subtitle-pipeline/srt-tools/script-to-srt-with-timing.py b/engines/subtitle-pipeline/srt-tools/script-to-srt-with-timing.py new file mode 100644 index 0000000..8af5074 --- /dev/null +++ b/engines/subtitle-pipeline/srt-tools/script-to-srt-with-timing.py @@ -0,0 +1,278 @@ +#!/usr/bin/env python3 +""" +Script to SRT with Timing · 剧本到 SRT 时间轴生成器 +==========================​===================== +用剧本台词和配音时长生成正式 SRT，别手写测试时间轴。 + +功能： + 1. 读取剧本台词（JSON/MD/TXT） + 2. 读取配音文件（获取每条台词的实际时长） + 3. 自动计算时间轴（考虑角色对话间隔） + 4. 生成标准 SRT 字幕文件 + 5. 支持多角色、旁白、音效标注 + +依赖： + pip install pysrt + +输入格式： + # 剧本 JSON 格式（推荐） + [ + {"id": 1, "character": "苏白", "text": "付费才能修仙？", "audio_file": "./audio/subai_001.wav"}, + {"id": 2, "character": "旁白", "text": "天道宗门口", "audio_file": "./audio/narrator_001.wav"} + ] + + # 剧本 MD 格式（兼容） + ## E1-SHOT01 + **苏白**：付费才能修仙？（audio: subai_001.wav） + **旁白**：天道宗门口（audio: narrator_001.wav） + +输出 SRT 格式： + 1 + 00:00:01,000 --> 00:00:03,500 + 付费才能修仙？ + + 2 + 00:00:03,800 --> 00:00:05,200 + 天道宗门口 + +用法： + # 从剧本 JSON + 配音文件生成 SRT + python script-to-srt-with-timing.py --script script.json --output subtitles.srt + + # 指定配音目录（自动匹配 audio_file） + python script-to-srt-with-timing.py --script script.json --audio-dir ./audio/ --output subtitles.srt + + # 从 MD 剧本生成 + python script-to-srt-with-timing.py --script script.md --output subtitles.srt + + # 自定义对话间隔（秒） + python script-to-srt-with-timing.py --script script.json --gap 0.3 --output subtitles.srt + +路径： + video-ai-system/engines/subtitle-pipeline/srt-tools/script-to-srt-with-timing.py +""" + +import argparse +import json +import os +import sys +import re +from pathlib import Path + +try: + import pysrt +except ImportError: + print("[ERROR] 缺少依赖：pysrt") + print("请先安装：pip install pysrt") + sys.exit(1) + + +def parse_script_json(script_path: str) -> list: + """ + 解析剧本 JSON 文件 + + :param script_path: 剧本 JSON 文件路径 + :return: 台词列表 [{"id", "character", "text", "audio_file", "start", "end"}] + """ + with open(script_path, "r", encoding="utf-8") as f: + script = json.load(f) + + print(f"[INFO] 读取剧本 JSON：{len(script)} 条台词") + return script + + +def parse_script_md(script_path: str) -> list: + """ + 解析剧本 MD 文件（兼容格式） + + :param script_path: 剧本 MD 文件路径 + :return: 台词列表 + """ + with open(script_path, "r", encoding="utf-8") as f: + lines = f.readlines() + + script = [] + current_id = 0 + + for line in lines: + # 匹配：**角色**：台词（audio: file.wav） + match = re.match(r"\*\*(.+?)\*\*[：:]\s*(.+?)\s*\(audio:\s*(.+?)\)", line.strip()) + if match: + character = match.group(1).strip() + text = match.group(2).strip() + audio_file = match.group(3).strip() + + script.append({ + "id": current_id + 1, + "character": character, + "text": text, + "audio_file": audio_file + }) + current_id += 1 + + print(f"[INFO] 读取剧本 MD：{len(script)} 条台词") + return script + + +def get_audio_duration(audio_path: str) -> float: + """ + 获取音频文件时长（秒） + + :param audio_path: 音频文件路径 + :return: 时长（秒） + """ + try: + import ffmpeg + probe = ffmpeg.probe(audio_path) + duration = float(probe['format']['duration']) + return duration + except ImportError: + # 如果没有 ffmpeg-python，使用 ffprobe 命令行 + try: + import subprocess + cmd = [ + "ffprobe", "-v", "quiet", "-print_format", "json", + "-show_format", "-show_streams", audio_path + ] + result = subprocess.run(cmd, capture_output=True, text=True, check=True) + probe = json.loads(result.stdout) + duration = float(probe['format']['duration']) + return duration + except Exception as e: + print(f"[WARN] 无法获取音频时长：{audio_path} ({e})") + # 估算：中文普通话约 4-6 字/秒 + return 2.0 # 默认 2 秒 + except Exception as e: + print(f"[WARN] 无法获取音频时长：{audio_path} ({e})") + return 2.0 + + +def calculate_timings(script: list, audio_dir: str = None, gap: float = 0.2) -> list: + """ + 计算时间轴 + + :param script: 台词列表 + :param audio_dir: 配音文件目录（如果 audio_file 是相对路径） + :param gap: 对话间隔（秒） + :return: 带时间轴的台词列表 + """ + current_time = 0.0 + + for item in script: + # 获取配音文件时长 + audio_file = item.get("audio_file") + + if audio_file and os.path.isfile(audio_file): + duration = get_audio_duration(audio_file) + elif audio_file and audio_dir: + audio_path = os.path.join(audio_dir, audio_file) + if os.path.isfile(audio_path): + duration = get_audio_duration(audio_path) + else: + # 估算时长 + text = item.get("text", "") + duration = len(text) / 5.0 # 假设 5 字/秒 + else: + # 没有配音文件，估算时长 + text = item.get("text", "") + duration = len(text) / 5.0 # 假设 5 字/秒 + + # 设置开始和结束时间 + item["start"] = current_time + item["end"] = current_time + duration + + # 更新当前时间（加上间隔） + current_time = item["end"] + gap + + print(f"[INFO] 时间轴计算完成：总时长 {current_time:.2f} 秒") + return script + + +def generate_srt(script: list, output_path: str): + """ + 生成 SRT 字幕文件 + + :param script: 带时间轴的台词列表 + :param output_path: 输出 SRT 文件路径 + """ + # 创建 pysrt SubRipFile + subs = pysrt.SubRipFile() + + for item in script: + # 创建字幕项 + sub = pysrt.SubRipItem() + sub.index = item["id"] + sub.text = item["text"] + + # 设置时间 + start_seconds = item["start"] + end_seconds = item["end"] + + sub.start.hours = int(start_seconds // 3600) + sub.start.minutes = int((start_seconds % 3600) // 60) + sub.start.seconds = int(start_seconds % 60) + sub.start.milliseconds = int((start_seconds % 1) * 1000) + + sub.end.hours = int(end_seconds // 3600) + sub.end.minutes = int((end_seconds % 3600) // 60) + sub.end.seconds = int(end_seconds % 60) + sub.end.milliseconds = int((end_seconds % 1) * 1000) + + subs.append(sub) + + # 保存 SRT 文件 + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + subs.save(output_path, encoding="utf-8") + + print(f"[OK] SRT 字幕文件已生成：{output_path}") + print(f"[INFO] 共 {len(script)} 条字幕") + + +def main(): + parser = argparse.ArgumentParser( + description="Script to SRT with Timing · 剧本到 SRT 时间轴生成器", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python script-to-srt-with-timing.py --script script.json --output subtitles.srt + python script-to-srt-with-timing.py --script script.md --audio-dir ./audio/ --output subtitles.srt + python script-to-srt-with-timing.py --script script.json --gap 0.3 --output subtitles.srt +""" + ) + parser.add_argument("--script", required=True, help="剧本文件路径（JSON 或 MD 格式）") + parser.add_argument("--audio-dir", help="配音文件目录（如果 audio_file 是相对路径）") + parser.add_argument("--output", required=True, help="输出 SRT 文件路径") + parser.add_argument("--gap", type=float, default=0.2, help="对话间隔（秒，默认 0.2）") + + args = parser.parse_args() + + # 检查剧本文件是否存在 + if not os.path.isfile(args.script): + print(f"[ERROR] 剧本文件不存在：{args.script}") + sys.exit(1) + + # 解析剧本 + if args.script.lower().endswith(".json"): + script = parse_script_json(args.script) + elif args.script.lower().endswith(".md"): + script = parse_script_md(args.script) + else: + print(f"[ERROR] 不支持的剧本格式：{args.script}") + print("支持格式：.json, .md") + sys.exit(1) + + if not script: + print("[ERROR] 剧本为空，请检查格式") + sys.exit(1) + + # 计算时间轴 + script = calculate_timings(script, args.audio_dir, args.gap) + + # 生成 SRT 文件 + generate_srt(script, args.output) + + print("\n[OK] 处理完成") + + +if __name__ == "__main__": + main() diff --git a/engines/subtitle-renderer.py b/engines/subtitle-renderer.py new file mode 100644 index 0000000..30dbdc8 --- /dev/null +++ b/engines/subtitle-renderer.py @@ -0,0 +1,403 @@ +#!/usr/bin/env python3 +""" +Subtitle Renderer · 字幕渲染引擎 +============================= +将 SRT 字幕文件渲染为 PNG 序列，再通过 FFmpeg 合成到视频中。 + +依赖： + pip install Pillow pysrt + +用法： + # 基本用法（SRT → PNG 序列） + python subtitle-renderer.py --srt input.srt --output-dir ./subtitles-png/ + + # 指定视频尺寸（PNG 宽度匹配视频） + python subtitle-renderer.py --srt input.srt --output-dir ./subtitles-png/ --width 1080 --height 1920 + + # 渲染后直接合成到视频 + python subtitle-renderer.py --srt input.srt --video input.mp4 --output output.mp4 + + # 自定义字幕样式 + python subtitle-renderer.py --srt input.srt --font-size 48 --font-color white --style clean-white --position bottom + + # 作为模块导入 + from subtitle_renderer import render_subtitles + render_subtitles("input.srt", "./subtitles-png/") + +字幕样式配置： + --font-size : 字体大小（默认 36） + --font-color : 字体颜色（默认 white） + --style : 字幕样式（reference-drama / short-drama-bold / clean-white / black-box，默认 reference-drama） + --position : 位置（top / middle / bottom，默认 bottom） + --margin-bottom : 底部边距（默认 100px） + +路径： + video-ai-system/engines/subtitle-renderer.py +""" + +import argparse +import json +import os +import subprocess +import sys +from pathlib import Path + +try: + import pysrt +except ImportError: + print("[ERROR] 缺少依赖：pysrt") + print("请先安装：pip install pysrt") + sys.exit(1) + +try: + from PIL import Image, ImageDraw, ImageFont +except ImportError: + print("[ERROR] 缺少依赖：Pillow") + print("请先安装：pip install Pillow") + sys.exit(1) + + +# 默认字幕样式 +DEFAULT_STYLE = { + "font_size": 38, + "font_color": "white", + "bg_enabled": False, + "position": "bottom", # top / middle / bottom + "margin_bottom": 28, + "margin_horizontal": 60, + "stroke_color": "black", + "stroke_width": 1, + "bold_weight": 2, + "video_width": 1080, + "video_height": 1920, +} + +SUBTITLE_STYLE_PRESETS = { + "reference-drama": { + "font_color": (255, 255, 255, 255), + "bg_enabled": False, + "stroke_width": 2, + "stroke_color": (0, 0, 0, 235), + "bold_weight": 1, + "line_box_ratio": 1.45, + }, + "short-drama-bold": { + "font_color": (255, 255, 255, 255), + "bg_enabled": False, + "stroke_width": 1, + "stroke_color": (18, 18, 18, 220), + "bold_weight": 2, + "line_box_ratio": 1.55, + }, + "clean-white": { + "font_color": (255, 255, 255, 255), + "bg_enabled": False, + "stroke_width": 0, + "bold_weight": 1, + "line_box_ratio": 1.55, + }, + "black-box": { + "font_color": (255, 255, 255, 255), + "bg_enabled": True, + "bg_fill": (0, 0, 0, 160), + "stroke_width": 0, + "bold_weight": 1, + "line_box_ratio": 1.55, + }, + "outlined-white": { + "font_color": (255, 255, 255, 255), + "bg_enabled": False, + "stroke_width": 2, + "stroke_color": (0, 0, 0, 255), + "bold_weight": 1, + "line_box_ratio": 1.55, + }, +} + +CHINESE_FONT_CANDIDATES = [ + "/System/Library/Fonts/PingFang.ttc", + "/System/Library/Fonts/Hiragino Sans GB.ttc", + "/System/Library/Fonts/STHeiti Medium.ttc", + "/System/Library/Fonts/Supplemental/Songti.ttc", + "/System/Library/Fonts/Supplemental/Kaiti.ttc", + "/Library/Fonts/Arial Unicode.ttf", + "/usr/share/fonts/truetype/dejavu/DejaVuSans.ttf", +] + + +def load_font(font_size: int): + for font_path in CHINESE_FONT_CANDIDATES: + if not os.path.isfile(font_path): + continue + try: + return ImageFont.truetype(font_path, font_size) + except Exception: + continue + return ImageFont.load_default() + + +def render_subtitle_png( + text: str, + output_path: str, + width: int = 1080, + height: int = 200, + style: dict = None +) -> bool: + """ + 渲染单条字幕为 PNG（带背景） + + :param text: 字幕文本 + :param output_path: 输出 PNG 路径 + :param width: PNG 宽度（匹配视频宽度） + :param height: PNG 高度 + :param style: 字幕样式字典 + :return: 是否成功 + """ + if style is None: + style = DEFAULT_STYLE + + try: + # 创建透明背景 PNG + img = Image.new("RGBA", (width, height), (0, 0, 0, 0)) + draw = ImageDraw.Draw(img) + + # 字体（使用系统字体） + font_size = style.get("font_size", 36) + font = load_font(font_size) + + # 计算文本尺寸 + bbox = draw.textbbox((0, 0), text, font=font) + text_width = bbox[2] - bbox[0] + text_height = bbox[3] - bbox[1] + + # 居中位置 + x = (width - text_width) // 2 + y = (height - text_height) // 2 + + # 可选背景。默认纯白字幕不画背景。 + if style.get("bg_enabled", False): + bg_padding = 20 + bg_x1 = x - bg_padding + bg_y1 = y - bg_padding + bg_x2 = x + text_width + bg_padding + bg_y2 = y + text_height + bg_padding + draw.rectangle([bg_x1, bg_y1, bg_x2, bg_y2], fill=style.get("bg_fill", (0, 0, 0, 160))) + + # 可选描边。短剧默认使用极细暗边，不使用投影。 + stroke_width = style.get("stroke_width", 2) + stroke_color = style.get("stroke_color", "black") + if stroke_width > 0: + for offset in range(-stroke_width, stroke_width + 1): + draw.text((x + offset, y), text, font=font, fill=stroke_color) + draw.text((x, y + offset), text, font=font, fill=stroke_color) + + # 绘制主文本。bold_weight 用多次微偏移模拟加粗，避免依赖某台机器是否有粗体中文字体。 + font_color = style.get("font_color", "white") + bold_weight = max(1, int(style.get("bold_weight", 1))) + offsets = [(0, 0)] + if bold_weight >= 2: + offsets += [(-1, 0), (1, 0), (0, -1), (0, 1)] + if bold_weight >= 3: + offsets += [(-1, -1), (1, -1), (-1, 1), (1, 1)] + for dx, dy in offsets: + draw.text((x + dx, y + dy), text, font=font, fill=font_color) + + # 保存 + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + img.save(output_path, "PNG") + + return True + + except Exception as e: + print(f"[ERROR] 渲染字幕失败：{e}") + return False + + +def render_subtitles( + srt_path: str, + output_dir: str, + style: dict = None +) -> dict: + """ + 渲染 SRT 字幕为 PNG 序列 + + :param srt_path: SRT 文件路径 + :param output_dir: 输出目录 + :param style: 字幕样式字典 + :return: {idx: {"png": png_path, "start": start_time, "end": end_time, "text": text}} + """ + if not os.path.isfile(srt_path): + print(f"[ERROR] SRT 文件不存在：{srt_path}") + return {} + + os.makedirs(output_dir, exist_ok=True) + + # 加载 SRT + subs = pysrt.open(srt_path, encoding="utf-8") + print(f"[INFO] 找到 {len(subs)} 条字幕，开始渲染 PNG 序列...") + + results = {} + for sub in subs: + idx = str(sub.index).zfill(4) + text = sub.text.strip() + start_time = sub.start.ordinal # 毫秒 + end_time = sub.end.ordinal + + # 渲染 PNG + png_path = os.path.join(output_dir, f"{idx}.png") + video_width = style.get("video_width", 1080) if style else 1080 + font_size = style.get("font_size", 36) if style else 36 + line_box_ratio = style.get("line_box_ratio", 1.55) if style else 1.55 + png_height = int(font_size * line_box_ratio) + + ok = render_subtitle_png(text, png_path, width=video_width, height=png_height, style=style) + if ok: + results[idx] = { + "png": png_path, + "start": start_time, + "end": end_time, + "text": text + } + + print(f"[OK] 字幕 PNG 序列渲染完成：{len(results)}/{len(subs)} 成功") + return results + + +def burn_subtitles_to_video( + video_path: str, + subtitles: dict, + output_path: str, + video_width: int = 1080, + video_height: int = 1920 +) -> bool: + """ + 将 PNG 字幕序列合成到视频中（使用 FFmpeg overlay 滤镜） + + :param video_path: 输入视频路径 + :param subtitles: render_subtitles 返回的字典 + :param output_path: 输出视频路径 + :param video_width: 视频宽度 + :param video_height: 视频高度 + :return: 是否成功 + """ + if not subtitles: + print("[ERROR] 没有字幕数据") + return False + + if not os.path.isfile(video_path): + print(f"[ERROR] 视频文件不存在：{video_path}") + return False + + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + + ordered_subs = [subtitles[k] for k in sorted(subtitles.keys())] + cmd = ["ffmpeg", "-y", "-i", video_path] + for sub in ordered_subs: + cmd.extend(["-i", sub["png"]]) + + margin_bottom = DEFAULT_STYLE["margin_bottom"] + chains = [] + previous = "[0:v]" + + for i, sub in enumerate(ordered_subs, start=1): + start_sec = sub["start"] / 1000.0 + end_sec = sub["end"] / 1000.0 + scaled = f"[s{i}]" + out = f"[v{i}]" + chains.append(f"[{i}:v]scale={video_width}:-1{scaled}") + chains.append( + f"{previous}{scaled}" + f"overlay=x=0:y=H-h-{margin_bottom}:" + f"enable='between(t,{start_sec:.3f},{end_sec:.3f})'{out}" + ) + previous = out + + filter_complex = ";".join(chains) + cmd.extend([ + "-filter_complex", filter_complex, + "-map", previous, + "-map", "0:a?", + "-c:v", "libx264", + "-pix_fmt", "yuv420p", + "-c:a", "copy", + "-shortest", + output_path, + ]) + + print("[INFO] 开始合成字幕到视频...") + try: + result = subprocess.run(cmd, check=False, capture_output=True, text=True) + except FileNotFoundError: + print("[ERROR] 未找到 ffmpeg") + return False + + if result.returncode != 0: + print("[ERROR] FFmpeg 合成失败") + print(result.stderr[-2000:]) + return False + + if os.path.isfile(output_path) and os.path.getsize(output_path) > 0: + print(f"[OK] 字幕已合成到视频：{output_path}") + return True + + print(f"[ERROR] 输出视频未生成：{output_path}") + return False + + +def main(): + parser = argparse.ArgumentParser( + description="Subtitle Renderer · 字幕渲染引擎", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python subtitle-renderer.py --srt input.srt --output-dir ./subtitles-png/ + python subtitle-renderer.py --srt input.srt --video input.mp4 --output output.mp4 + python subtitle-renderer.py --srt input.srt --font-size 48 --position bottom +""" + ) + parser.add_argument("--srt", required=True, help="SRT 字幕文件路径") + parser.add_argument("--output-dir", help="PNG 序列输出目录") + parser.add_argument("--video", help="输入视频路径（可选，用于直接合成）") + parser.add_argument("--output", help="输出视频路径（配合 --video 使用）") + parser.add_argument("--font-size", type=int, default=36, help="字体大小") + parser.add_argument("--font-color", default="white", help="字体颜色") + parser.add_argument("--style", default="reference-drama", choices=sorted(SUBTITLE_STYLE_PRESETS.keys()), help="字幕样式") + parser.add_argument("--margin-bottom", type=int, default=None, help="字幕距离画面底部的像素边距") + parser.add_argument("--position", default="bottom", choices=["top", "middle", "bottom"], help="字幕位置") + parser.add_argument("--video-width", type=int, default=1080, help="视频宽度") + parser.add_argument("--video-height", type=int, default=1920, help="视频高度") + + args = parser.parse_args() + + # 构建样式字典 + style = { + **SUBTITLE_STYLE_PRESETS[args.style], + "font_size": args.font_size, + "font_color": args.font_color, + "position": args.position, + "video_width": args.video_width, + "video_height": args.video_height, + } + if args.margin_bottom is not None: + style["margin_bottom"] = args.margin_bottom + + # 渲染 PNG 序列 + output_dir = args.output_dir or "./subtitles-png/" + subtitles = render_subtitles(args.srt, output_dir, style) + + if not subtitles: + sys.exit(1) + + # 如果指定了视频，则合成 + if args.video and args.output: + ok = burn_subtitles_to_video(args.video, subtitles, args.output, args.video_width, args.video_height) + if not ok: + sys.exit(1) + + print(f"\n[OK] 字幕 PNG 序列已生成：{output_dir}") + print(f"[INFO] 共 {len(subtitles)} 条字幕") + sys.exit(0) + + +if __name__ == "__main__": + main() diff --git a/engines/tts-engine.py b/engines/tts-engine.py new file mode 100644 index 0000000..5fc1e61 --- /dev/null +++ b/engines/tts-engine.py @@ -0,0 +1,311 @@ +#!/usr/bin/env python3 +""" +TTS Engine · Edge-TTS 配音引擎 +================================== +为视频AI系统提供文本转语音能力，支持多角色音色配置。 + +依赖： + pip install edge-tts + +用法： + # 基本用法（默认中文女声） + python tts-engine.py --text "你好世界" --output output.mp3 + + # 指定角色（从配置文件读取音色） + python tts-engine.py --text "未来的天下第一宗！" --character "苏白" --output su-bai.mp3 + + # 指定语音（Edge-TTS 语音名） + python tts-engine.py --text "Hello World" --voice "en-US-JennyNeural" --output hello.mp3 + + # 调整语速/音调/音量 + python tts-engine.py --text "你好" --rate "+20%" --pitch "+5Hz" --volume "+10%" --output output.mp3 + + # 批量生成（从SRT字幕文件） + python tts-engine.py --srt input.srt --output-dir ./audio/ --character "苏白" + + # 作为模块导入 + from tts_engine import generate_speech + generate_speech("你好世界", "output.mp3", voice="zh-CN-XiaoxiaoNeural") + +角色音色配置： + video-ai-system/config/voices.json + +路径： + video-ai-system/engines/tts-engine.py +""" + +import argparse +import asyncio +import json +import os +import sys +from pathlib import Path + +try: + import edge_tts +except ImportError: + print("[ERROR] 缺少依赖：edge-tts") + print("请先安装：pip install edge-tts") + sys.exit(1) + + +# 默认角色音色配置 +DEFAULT_VOICES = { + "苏白": { + "voice": "zh-CN-XiaoxiaoNeural", # 阳光少年音 + "rate": "+5%", + "pitch": "+0Hz" + }, + "诸葛风": { + "voice": "zh-CN-YunxiNeural", # 沉稳男声 + "rate": "+0%", + "pitch": "-5Hz" + }, + "萧灵汐": { + "voice": "zh-CN-XiaoyiNeural", # 清冷女声 + "rate": "+0%", + "pitch": "+0Hz" + }, + "王执事": { + "voice": "zh-CN-YunyangNeural", # 中年男声 + "rate": "+0%", + "pitch": "-10Hz" + } +} + + +def load_voice_config(config_path: str = None) -> dict: + """加载角色音色配置文件""" + if config_path and os.path.isfile(config_path): + try: + with open(config_path, "r", encoding="utf-8") as f: + return json.load(f) + except Exception as e: + print(f"[WARN] 无法读取配置文件 {config_path}：{e}") + print("[INFO] 使用默认音色配置") + return DEFAULT_VOICES + + +async def generate_speech_async( + text: str, + output_path: str, + voice: str = "zh-CN-XiaoxiaoNeural", + rate: str = "+0%", + pitch: str = "+0Hz", + volume: str = "+0%" +) -> bool: + """ + 异步生成语音（Edge-TTS） + + :param text: 要合成的文本 + :param output_path: 输出音频文件路径 + :param voice: Edge-TTS 语音名 + :param rate: 语速（如 "+20%"、"-10%"） + :param pitch: 音调（如 "+5Hz"、"-10Hz"） + :param volume: 音量（如 "+10%"、"-5%"） + :return: 是否成功 + """ + try: + # 确保输出目录存在 + os.makedirs(os.path.dirname(os.path.abspath(output_path)), exist_ok=True) + + communicate = edge_tts.Communicate( + text, voice, + rate=rate, pitch=pitch, volume=volume + ) + await communicate.save(output_path) + + # 验证输出文件 + if os.path.isfile(output_path): + file_size = os.path.getsize(output_path) + print(f"[OK] 生成语音：{output_path} ({file_size // 1024} KB)") + print(f" 语音：{voice} | 语速：{rate} | 音调：{pitch}") + return True + else: + print(f"[ERROR] 输出文件未生成：{output_path}") + return False + + except Exception as e: + print(f"[ERROR] 生成语音失败：{e}") + return False + + +def generate_speech( + text: str, + output_path: str, + voice: str = "zh-CN-XiaoxiaoNeural", + rate: str = "+0%", + pitch: str = "+0Hz", + volume: str = "+0%" +) -> bool: + """ + 同步包装器（供外部调用） + + :param text: 要合成的文本 + :param output_path: 输出音频文件路径 + :param voice: Edge-TTS 语音名 + :param rate: 语速 + :param pitch: 音调 + :param volume: 音量 + :return: 是否成功 + """ + return asyncio.run(generate_speech_async(text, output_path, voice, rate, pitch, volume)) + + +def generate_by_character( + text: str, + output_path: str, + character: str, + config: dict = None +) -> bool: + """ + 按角色名生成语音（自动读取音色配置） + + :param text: 要合成的文本 + :param output_path: 输出音频文件路径 + :param character: 角色名（如 "苏白"） + :param config: 音色配置字典（可选，默认加载 DEFAULT_VOICES） + :return: 是否成功 + """ + if config is None: + config = load_voice_config() + + if character not in config: + print(f"[WARN] 角色 '{character}' 未配置音色，使用默认音色") + return generate_speech(text, output_path) + + voice_config = config[character] + return generate_speech( + text, output_path, + voice=voice_config.get("voice", "zh-CN-XiaoxiaoNeural"), + rate=voice_config.get("rate", "+0%"), + pitch=voice_config.get("pitch", "+0Hz") + ) + + +def process_srt(srt_path: str, output_dir: str, character: str = None, config: dict = None): + """ + 从SRT字幕文件批量生成语音 + + :param srt_path: SRT 文件路径 + :param output_dir: 输出目录 + :param character: 角色名（所有台词用同一音色） + :param config: 音色配置字典 + """ + if not os.path.isfile(srt_path): + print(f"[ERROR] SRT 文件不存在：{srt_path}") + return False + + os.makedirs(output_dir, exist_ok=True) + + # 简单SRT解析（按空行分割） + with open(srt_path, "r", encoding="utf-8") as f: + content = f.read() + + blocks = content.strip().split("\n\n") + print(f"[INFO] 找到 {len(blocks)} 条字幕，开始生成语音...") + + success = 0 + for block in blocks: + lines = block.strip().split("\n") + if len(lines) < 3: + continue + + idx = lines[0].strip() + # timeine = lines[1].strip() # 暂不使用时序 + text = " ".join(lines[2:]).strip() + + if not text: + continue + + output_path = os.path.join(output_dir, f"{idx.zfill(4)}.mp3") + + if character: + ok = generate_by_character(text, output_path, character, config) + else: + ok = generate_speech(text, output_path) + + if ok: + success += 1 + + print(f"\n[INFO] SRT批量生成完成：{success}/{len(blocks)} 成功") + return success == len(blocks) + + +def list_voices(): + """列出所有可用的Edge-TTS语音""" + print("[INFO] 正在获取可用语音列表...\n") + asyncio.run(_list_voices_async()) + + +async def _list_voices_async(): + """异步列出语音""" + voices = await edge_tts.list_voices() + print("中文语音：") + for v in voices: + if v["Locale"].startswith("zh-"): + print(f" {v['ShortName']:30s} - {v['FriendlyName']}") + print(f"\n共 {len([v for v in voices if v['Locale'].startswith('zh-')])} 个中文语音") + + +def main(): + parser = argparse.ArgumentParser( + description="TTS Engine · Edge-TTS 配音引擎", + formatter_class=argparse.RawDescriptionHelpFormatter, + epilog=""" +示例： + python tts-engine.py --text "你好世界" --output output.mp3 + python tts-engine.py --text "未来的天下第一宗！" --character "苏白" --output su-bai.mp3 + python tts-engine.py --text "Hello" --voice "en-US-JennyNeural" --output hello.mp3 + python tts-engine.py --srt input.srt --output-dir ./audio/ --character "苏白" + python tts-engine.py --list-voices +""" + ) + parser.add_argument("--text", help="要合成的文本") + parser.add_argument("--output", help="输出音频文件路径") + parser.add_argument("--voice", default="zh-CN-XiaoxiaoNeural", help="Edge-TTS 语音名") + parser.add_argument("--character", help="角色名（从配置文件读取音色）") + parser.add_argument("--rate", default="+0%", help="语速（如 +20%%、-10%%）") + parser.add_argument("--pitch", default="+0Hz", help="音调（如 +5Hz、-10Hz）") + parser.add_argument("--volume", default="+0%", help="音量（如 +10%%、-5%%）") + parser.add_argument("--srt", help="从SRT字幕文件批量生成") + parser.add_argument("--output-dir", help="批量生成时的输出目录") + parser.add_argument("--config", help="角色音色配置文件路径") + parser.add_argument("--list-voices", action="store_true", help="列出所有可用语音") + + args = parser.parse_args() + + if args.list_voices: + list_voices() + sys.exit(0) + + if args.srt: + # 批量模式 + if not args.output_dir: + print("[ERROR] 批量模式需要指定 --output-dir") + sys.exit(1) + config = load_voice_config(args.config) + ok = process_srt(args.srt, args.output_dir, args.character, config) + sys.exit(0 if ok else 1) + + if not args.text or not args.output: + print("[ERROR] 需要指定 --text 和 --output") + parser.print_help() + sys.exit(1) + + # 单文件模式 + if args.character: + config = load_voice_config(args.config) + ok = generate_by_character(args.text, args.output, args.character, config) + else: + ok = generate_speech( + args.text, args.output, + voice=args.voice, rate=args.rate, + pitch=args.pitch, volume=args.volume + ) + + sys.exit(0 if ok else 1) + + +if __name__ == "__main__": + main() diff --git a/engines/video-api-adapter.js b/engines/video-api-adapter.js new file mode 100644 index 0000000..64c9a79 --- /dev/null +++ b/engines/video-api-adapter.js @@ -0,0 +1,664 @@ +/** + * 光湖视频AI系统 · 视频API适配层 + * D135 → D144 · 铸渊 ICE-GL-ZY001 + * + * 基于 火山方舟 Seedance API 对接 + * + * 【D144】三模型分工: + * - doubao-seedance-2-0-260128 2.0 旗舰 · 复杂镜头（打斗/法术/参考视频） + * - doubao-seedance-2-0-mini-260615 Mini · 简单镜头主力（特写/静物/基础运镜） + * - doubao-seedance-1-5-pro-251215 1.5 Pro · 音画同步口型（generate_audio:true） + * + * 使用方式: + * const { generateVideo, validateAndGenerate } = require('./video-api-adapter'); + * + * // 简单镜头用 Mini + * const result = await validateAndGenerate({ + * prompt: '...', duration: 5, + * model: 'doubao-seedance-2-0-mini-260615' + * }); + * + * // 口型镜头用 1.5 Pro + * const result = await validateAndGenerate({ + * prompt: '苏白对着镜头大声说：天道宗开门收徒啦！', + * model: 'doubao-seedance-1-5-pro-251215', + * generateAudio: true + * }); + * + * 输出路径优先级: + * 1. opts.outputPath（显式指定） + * 2. 外接硬盘 JZAO /Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/ + * 3. 本地 fallback video-ai-system/outputs/ + * + * 环境变量（放在 video-ai-system/.env）: + * JIMENG_API_KEY=xxx 火山方舟 API Key + * JIMENG_BASE_URL=https://ark.cn-beijing.volces.com/api/v3 + * JIMENG_MODEL=doubao-seedance-2-0-260128 + * VIDEO_OUTPUT_ROOT=/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频 (可选·覆盖默认) + */ + +const fs = require('fs'); +const path = require('path'); +const https = require('https'); +const http = require('http'); +const { loadVideoAiEnv } = require('./env-loader'); + +loadVideoAiEnv(path.resolve(__dirname, '../.env')); + +const API_KEY = process.env.JIMENG_API_KEY || ''; +const BASE_URL = process.env.JIMENG_BASE_URL || 'https://ark.cn-beijing.volces.com/api/v3'; +const MODEL = process.env.JIMENG_MODEL || 'doubao-seedance-2-0-260128'; +const POLL_INTERVAL_MS = parseInt(process.env.POLL_INTERVAL_MS, 10) || 5000; +const MAX_POLL_ATTEMPTS = parseInt(process.env.MAX_POLL_ATTEMPTS, 10) || 120; // 最多轮询10分钟 + +// 【D135】输出路径：外接硬盘优先 +const JZAO_VIDEO_ROOT = '/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频'; +const LOCAL_OUTPUT_ROOT = path.resolve(__dirname, '../outputs'); +const VIDEO_OUTPUT_ROOT = (() => { + const env = process.env.VIDEO_OUTPUT_ROOT; + if (env) return env; + if (fs.existsSync(JZAO_VIDEO_ROOT)) return JZAO_VIDEO_ROOT; + return LOCAL_OUTPUT_ROOT; +})(); +const VIDEO_REGISTRY_PATH = path.resolve(__dirname, '../outputs/video-registry.json'); + +console.log(`[VideoAPI] 输出路径: ${VIDEO_OUTPUT_ROOT}`); + +/** + * 【D135】解析输出路径 — 外接硬盘JZAO优先，本地fallback + * @param {string} projectKey - 项目标识，如 "zai-fu-fei-xiu-xian/ep01" + * @param {string} filename - 文件名 + * @returns {string} 完整输出路径 + */ +function resolveOutputPath(projectKey, filename) { + const dir = path.join(VIDEO_OUTPUT_ROOT, projectKey); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + return path.join(dir, filename); +} + +/** + * 【D135】视频注册 — 镜编号→硬盘路径的双向索引 + * 存到仓库里，人不用翻文件夹，系统毫秒级定位 + */ +function registerVideo({ projectKey, shotId, taskId, filePath, duration, resolution, prompt }) { + let registry = { _meta: { updated: new Date().toISOString(), by: '铸渊 ICE-GL-ZY001' }, shots: {} }; + + try { + if (fs.existsSync(VIDEO_REGISTRY_PATH)) { + registry = JSON.parse(fs.readFileSync(VIDEO_REGISTRY_PATH, 'utf-8')); + } + } catch (e) { + // 文件损坏，重建 + } + + const key = shotId || taskId; + registry.shots[key] = { + shotId: key, + taskId, + projectKey, + filePath, + duration, + resolution, + promptPreview: (prompt || '').substring(0, 80), + generatedAt: new Date().toISOString(), + dNumber: 'D135', + }; + registry._meta.updated = new Date().toISOString(); + registry._meta.totalShots = Object.keys(registry.shots).length; + + const dir = path.dirname(VIDEO_REGISTRY_PATH); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + fs.writeFileSync(VIDEO_REGISTRY_PATH, JSON.stringify(registry, null, 2), 'utf-8'); + console.log(`[VideoAPI·注册] ${key} → ${filePath}`); +} + +/** + * 【D135】按镜编号查找视频 — 毫秒级定位 + * @param {string} shotId + * @returns {{ found: boolean, filePath?: string, info?: object }} + */ +function findVideo(shotId) { + try { + if (!fs.existsSync(VIDEO_REGISTRY_PATH)) return { found: false }; + const registry = JSON.parse(fs.readFileSync(VIDEO_REGISTRY_PATH, 'utf-8')); + const entry = registry.shots[shotId]; + if (!entry) return { found: false }; + const onDisk = fs.existsSync(entry.filePath); + return { found: true, filePath: entry.filePath, onDisk, info: entry }; + } catch (e) { + return { found: false, error: e.message }; + } +} + +/** + * HTTP POST 请求封装（Node.js 原生，无依赖） + */ +async function httpPost(url, body, apiKey) { + const urlObj = new URL(url); + const isHttps = urlObj.protocol === 'https:'; + const transport = isHttps ? https : http; + const payload = JSON.stringify(body); + + return new Promise((resolve, reject) => { + const req = transport.request(url, { + method: 'POST', + headers: { + 'Authorization': `Bearer ${apiKey}`, + 'Content-Type': 'application/json', + 'Content-Length': Buffer.byteLength(payload), + }, + timeout: 30000, + }, (res) => { + let data = ''; + res.on('data', chunk => data += chunk); + res.on('end', () => { + try { + const json = JSON.parse(data); + if (res.statusCode >= 400) { + const errMsg = json.error?.message || json.message || `HTTP ${res.statusCode}`; + reject(new Error(`API错误(${res.statusCode}): ${errMsg}`)); + return; + } + resolve(json); + } catch (e) { + reject(new Error(`JSON解析失败: ${data.substring(0, 200)}`)); + } + }); + }); + req.on('error', reject); + req.on('timeout', () => { req.destroy(); reject(new Error('请求超时')); }); + req.write(payload); + req.end(); + }); +} + +/** + * HTTP GET 请求封装 + */ +async function httpGet(url, apiKey) { + const urlObj = new URL(url); + const isHttps = urlObj.protocol === 'https:'; + const transport = isHttps ? https : http; + + return new Promise((resolve, reject) => { + const req = transport.request(url, { + method: 'GET', + headers: { + 'Authorization': `Bearer ${apiKey}`, + 'Content-Type': 'application/json', + }, + timeout: 10000, + }, (res) => { + let data = ''; + res.on('data', chunk => data += chunk); + res.on('end', () => { + try { + const json = JSON.parse(data); + resolve(json); + } catch (e) { + reject(new Error(`JSON解析失败: ${data.substring(0, 200)}`)); + } + }); + }); + req.on('error', reject); + req.end(); + }); +} + +/** + * 下载视频到本地，避免外网URL过期 + */ +async function downloadVideo(videoUrl, outputPath) { + const urlObj = new URL(videoUrl); + const isHttps = urlObj.protocol === 'https:'; + const transport = isHttps ? https : http; + + return new Promise((resolve, reject) => { + const dir = path.dirname(outputPath); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + + const file = fs.createWriteStream(outputPath); + transport.get(videoUrl, (res) => { + if (res.statusCode >= 300 && res.statusCode < 400 && res.headers.location) { + // 重定向 + const redirectUrl = res.headers.location.startsWith('http') + ? res.headers.location + : `${urlObj.protocol}//${urlObj.host}${res.headers.location}`; + downloadVideo(redirectUrl, outputPath).then(resolve).catch(reject); + return; + } + res.pipe(file); + file.on('finish', () => { file.close(); resolve(outputPath); }); + file.on('error', (err) => { fs.unlinkSync(outputPath); reject(err); }); + }).on('error', reject); + }); +} + +// ==================== API 规范常量 ==================== +// 【D144】三模型分工 — 共用端点，区分场景 +const SUPPORTED_MODELS = { + 'doubao-seedance-2-0-260128': { name: 'Seedance 2.0 旗舰', role: 'complex', maxResolution: '720p', supportsAudio: false, supportsReferenceVideo: true }, + 'doubao-seedance-2-0-mini-260615': { name: 'Seedance 2.0 Mini', role: 'simple', maxResolution: '720p', supportsAudio: false, supportsReferenceVideo: false }, + 'doubao-seedance-1-5-pro-251215': { name: 'Seedance 1.5 Pro', role: 'lipsync', maxResolution: '1080p', supportsAudio: true, supportsReferenceVideo: false }, +}; + +const API_SPEC = { + duration: { key: 'duration', type: 'integer', range: [4, 15], default: 5, special: -1, note: '-1=自动' }, + resolution: { key: 'resolution', type: 'string', values: ['480p', '720p', '1080p'], default: '720p' }, + model: { key: 'model', type: 'string', values: Object.keys(SUPPORTED_MODELS), default: 'doubao-seedance-2-0-260128' }, + promptMaxLen: { chinese: 500, english: 1000 }, +}; + +/** + * 【新增 · D135】预校验 · 提交前参数合规性检查 + * 零成本——不调用API，只在本地检查参数是否对齐Seedance 2.0规范 + * @param {object} opts + * @returns {{ valid: boolean, warnings: string[], errors: string[], corrected: object }} + */ +function preflightCheck({ prompt, duration, resolution, style }) { + const warnings = []; + const errors = []; + const corrected = {}; + + // 1. duration 校验 + const dur = parseInt(duration, 10); + if (duration !== undefined && duration !== null) { + if (isNaN(dur)) { + errors.push(`duration 类型错误: 收到 "${duration}" (${typeof duration})，应为 integer`); + } else if (dur !== -1 && (dur < 4 || dur > 15)) { + errors.push(`duration 超出范围: ${dur}，Seedance 2.0 支持 4~15 秒（或 -1 自动）`); + } else { + corrected.duration = dur; // 确保是整数 + } + } else { + corrected.duration = API_SPEC.duration.default; + } + + // 2. resolution 校验 + if (resolution !== undefined && resolution !== null) { + if (!API_SPEC.resolution.values.includes(String(resolution))) { + warnings.push(`resolution "${resolution}" 不在 Seedance 2.0 支持列表中（${API_SPEC.resolution.values.join(', ')}），已修正为 ${API_SPEC.resolution.default}`); + corrected.resolution = API_SPEC.resolution.default; + } else { + corrected.resolution = resolution; + } + } else { + corrected.resolution = API_SPEC.resolution.default; + } + + // 3. prompt 长度校验 + if (prompt && prompt.trim()) { + const chineseChars = (prompt.match(/[\u4e00-\u9fff]/g) || []).length; + const englishWords = prompt.split(/\s+/).filter(w => /[a-zA-Z]/.test(w)).length; + if (chineseChars > API_SPEC.promptMaxLen.chinese) { + warnings.push(`提示词中文字数 ${chineseChars}，超过建议上限 ${API_SPEC.promptMaxLen.chinese} 字`); + } + if (englishWords > API_SPEC.promptMaxLen.english) { + warnings.push(`提示词英文词数 ${englishWords}，超过建议上限 ${API_SPEC.promptMaxLen.english} 词`); + } + } else { + errors.push('提示词不能为空'); + } + + // 4. style 参数（Seedance 2.0 官方API不直接支持style参数，通过提示词控制） + if (style) { + warnings.push(`style="${style}" 不是 Seedance 2.0 官方 API 参数，已忽略。风格请通过提示词描述控制。`); + // 不传入 corrected，style 将被丢弃 + } + + return { + valid: errors.length === 0, + warnings, + errors, + corrected, + }; +} + +/** + * 提交视频生成任务 + * @param {object} opts + * @param {string} opts.prompt - 视频描述提示词（中文 ≤500字，英文 ≤1000词） + * @param {number} [opts.duration] - 时长 4-15秒，默认 5，-1=自动 + * @param {string} [opts.resolution] - 分辨率 '480p' | '720p'，默认 720p + * @param {string} [opts.style] - [已废弃] Seedance 2.0 标准API不直接支持，请通过提示词控制风格 + * @param {string} [opts.referenceImage] - 参考图文件路径（用于锁脸），自动转 base64 + * @param {string} [opts.model] - 模型ID覆盖（默认 .env 中的 JIMENG_MODEL） + * @param {boolean} [opts.generateAudio] - 【D144】是否生成音画同步音频（仅 1.5 Pro 支持） + * @returns {Promise<{taskId: string, preflight: object}>} + */ +async function submitTask({ prompt, duration, resolution, style, referenceImage, model, generateAudio }) { + // 【D135】预校验 + const preflight = preflightCheck({ prompt, duration, resolution, style }); + + if (!preflight.valid) { + console.error(`[VideoAPI·预校验] ❌ 参数错误，拒绝提交:`); + preflight.errors.forEach(e => console.error(` ✗ ${e}`)); + throw new Error(`预校验失败: ${preflight.errors.join('; ')}`); + } + + if (preflight.warnings.length > 0) { + console.warn(`[VideoAPI·预校验] ⚠️ ${preflight.warnings.length} 条警告:`); + preflight.warnings.forEach(w => console.warn(` ⚠ ${w}`)); + } + + // 使用修正后的参数 + const finalDuration = preflight.corrected.duration; + const finalResolution = preflight.corrected.resolution; + + console.log(`[VideoAPI] 提交任务: ${prompt.substring(0, 60)}...`); + + // 【D144】模型选择 — 支持显式覆盖 .env 默认值 + const activeModel = model || MODEL; + const modelInfo = SUPPORTED_MODELS[activeModel] || { name: activeModel, supportsAudio: false, maxResolution: '720p' }; + + // 【D144】generate_audio 检查 — 非 1.5 模型传了这个参数会被 API 忽略 + const shouldGenerateAudio = generateAudio === true && modelInfo.supportsAudio; + + // 【D135关键修复】参数必须在顶层，不能嵌套在 parameters 对象中 + // 官方文档: https://www.volcengine.com/docs/82379/1520757 + const content = [ + { type: 'text', text: prompt } + ]; + + // 【D135】参考图支持 — 锁脸用 + if (referenceImage) { + if (!fs.existsSync(referenceImage)) { + console.warn(`[VideoAPI] ⚠️ 参考图不存在: ${referenceImage}`); + } else { + const imgBuffer = fs.readFileSync(referenceImage); + const ext = path.extname(referenceImage).toLowerCase(); + const mimeMap = { '.png': 'image/png', '.jpg': 'image/jpeg', '.jpeg': 'image/jpeg', '.webp': 'image/webp' }; + const mime = mimeMap[ext] || 'image/png'; + const b64 = imgBuffer.toString('base64'); + content.push({ + type: 'image_url', + role: 'reference_image', + image_url: { url: `data:${mime};base64,${b64}` }, + }); + console.log(`[VideoAPI] 参考图已挂载: ${path.basename(referenceImage)} (${(imgBuffer.length/1024).toFixed(0)}KB)`); + } + } + + const payload = { + model: activeModel, + content, + duration: finalDuration, // ← 顶层 integer，不是 parameters.video_length String + resolution: finalResolution, // ← 顶层 string，仅支持 480p/720p + }; + + // 【D144】音画同步 — 仅 1.5 Pro 支持 + if (shouldGenerateAudio) { + payload.generate_audio = true; + } + + const data = await httpPost(`${BASE_URL}/contents/generations/tasks`, payload, API_KEY); + const taskId = data.id || data.task_id || data.data?.task_id || data.data?.id; + + if (!taskId) { + throw new Error(`即梦API未返回任务ID: ${JSON.stringify(data).substring(0, 200)}`); + } + + console.log(`[VideoAPI] 任务已提交: ${taskId} 模型: ${MODEL} 时长: ${finalDuration}s 分辨率: ${finalResolution}`); + return { taskId, preflight }; +} + +/** + * 查询任务状态 + * @param {string} taskId + * @returns {Promise<{status: 'generating'|'completed'|'failed', videoUrl?: string, videoMeta?: object, rawResponse?: object, error?: string}>} + */ +async function queryTask(taskId) { + const data = await httpGet(`${BASE_URL}/contents/generations/tasks/${taskId}`, API_KEY); + const rawStatus = (data.status || data.data?.status || '').toLowerCase(); + + if (['succeeded', 'completed', 'success', 'done'].includes(rawStatus)) { + const videoUrl = data.content?.video_url + || data.output?.video_url + || data.output?.url + || data.data?.output?.video_url + || data.data?.output?.url + || data.result?.video_url + || data.content?.[0]?.url + || data.data?.content?.[0]?.url; + + if (!videoUrl) { + return { status: 'failed', error: '任务完成但未返回视频地址' }; + } + + // 【D135】提取响应中包含的元数据（可能有 duration/width/height 等） + const videoMeta = {}; + const rawOutput = data.output || data.data?.output || data.content || data.data?.content || {}; + if (rawOutput.duration !== undefined) videoMeta.duration = rawOutput.duration; + if (rawOutput.video_duration !== undefined) videoMeta.video_duration = rawOutput.video_duration; + if (rawOutput.width !== undefined) videoMeta.width = rawOutput.width; + if (rawOutput.height !== undefined) videoMeta.height = rawOutput.height; + if (rawOutput.resolution !== undefined) videoMeta.resolution = rawOutput.resolution; + if (rawOutput.frame_count !== undefined) videoMeta.frame_count = rawOutput.frame_count; + if (rawOutput.fps !== undefined) videoMeta.fps = rawOutput.fps; + + return { status: 'completed', videoUrl, videoMeta, rawResponse: data }; + } + + if (['failed', 'error', 'cancelled'].includes(rawStatus)) { + const errMsg = data.error?.message || data.data?.error?.message || data.message || '生成失败'; + return { status: 'failed', error: errMsg, rawResponse: data }; + } + + return { status: 'generating' }; +} + +/** + * 【D135 新增】通过 ffprobe 从视频URL提取实际时长（秒） + * 在下载完整视频之前就能知道实际时长，避免瞎子式验证 + * @param {string} videoUrl - 视频URL + * @returns {Promise<{duration: number|null, meta: object, error: string|null}>} + */ +async function probeVideoDuration(videoUrl) { + const { execSync } = require('child_process'); + + try { + // ffprobe 只下载文件头解析元数据，不发完整请求 + const stdout = execSync( + `ffprobe -v quiet -print_format json -show_format -show_streams "${videoUrl}"`, + { timeout: 15000, encoding: 'utf8', maxBuffer: 1024 * 1024 } + ); + const meta = JSON.parse(stdout); + + // 从 format 层取时长 + const formatDuration = parseFloat(meta.format?.duration); + // 从流层取第一视频流时长 + const videoStream = (meta.streams || []).find(s => s.codec_type === 'video'); + const streamDuration = videoStream ? parseFloat(videoStream.duration) : null; + + const duration = formatDuration || streamDuration || null; + + if (duration !== null) { + console.log(`[VideoAPI·探针] 视频实际时长: ${duration.toFixed(1)}s (${videoStream?.width || '?'}×${videoStream?.height || '?'})`); + } + + return { + duration, + meta: { + width: videoStream?.width || null, + height: videoStream?.height || null, + codec: videoStream?.codec_name || null, + fps: videoStream?.r_frame_rate || null, + }, + error: null, + }; + } catch (e) { + return { + duration: null, + meta: {}, + error: `ffprobe 不可用或提取失败: ${e.message}`, + }; + } +} + +/** + * 生成视频（提交 + 自动轮询 + 下载 + 注册索引） + * @param {object} opts + * @param {string} opts.prompt - 视频提示词 + * @param {number} [opts.duration] - 时长 4-15秒 + * @param {string} [opts.resolution] - 分辨率 480p/720p + * @param {string} [opts.style] - [已废弃] + * @param {string} [opts.outputPath] - 输出路径（可选，优先于默认JZAO路径） + * @param {string} [opts.shotId] - 镜编号，用于注册索引（如 'ep01-shot01'） + * @param {string} [opts.projectKey] - 项目标识（如 'zai-fu-fei-xiu-xian/ep01'） + * @param {string} [opts.referenceImage] - 参考图路径 + * @param {string} [opts.model] - 【D144】模型ID覆盖 + * @param {boolean} [opts.generateAudio] - 【D144】音画同步（仅1.5 Pro） + * @returns {Promise<{videoPath: string, taskId: string, duration: number, preflight: object}>} + */ +async function generateVideo({ prompt, duration, resolution, style, outputPath, shotId, projectKey, referenceImage, model, generateAudio }) { + if (!API_KEY) { + throw new Error('未配置 JIMENG_API_KEY。请在 video-ai-system/.env 中设置。'); + } + + // 1. 提交任务（含预校验） + const { taskId, preflight } = await submitTask({ prompt, duration, resolution, style, referenceImage, model, generateAudio }); + const finalDuration = preflight.corrected.duration; + const finalResolution = preflight.corrected.resolution; + + // 2. 轮询等待 + let attempts = 0; + while (attempts < MAX_POLL_ATTEMPTS) { + attempts++; + await new Promise(r => setTimeout(r, POLL_INTERVAL_MS)); + + const result = await queryTask(taskId); + + if (result.status === 'completed') { + // 【D135】API响应中如有元数据，先报告 + if (Object.keys(result.videoMeta).length > 0) { + console.log(`[VideoAPI] API返回的元数据:`, JSON.stringify(result.videoMeta)); + } + + // 3. 【D135】解析输出路径 — 外接硬盘JZAO优先 + let finalPath; + if (outputPath) { + finalPath = outputPath; + } else if (shotId && projectKey) { + // 有编号 → 走 JZAO 编号文件夹 + finalPath = resolveOutputPath(projectKey, `${shotId}.mp4`); + } else { + // 兜底: JZAO根目录用taskId + finalPath = path.join(VIDEO_OUTPUT_ROOT, `${taskId}.mp4`); + } + + console.log(`[VideoAPI] 生成完成！正在下载到: ${finalPath}`); + await downloadVideo(result.videoUrl, finalPath); + console.log(`[VideoAPI] 视频已保存: ${finalPath}`); + + // 4. 【D135】注册视频索引 — 仓库↔硬盘双向映射 + if (shotId || taskId) { + registerVideo({ + projectKey: projectKey || 'unknown', + shotId: shotId || taskId, + taskId, + filePath: finalPath, + duration: finalDuration, + resolution: finalResolution, + prompt, + }); + } + + return { videoPath: finalPath, taskId, duration: finalDuration, resolution: finalResolution, preflight }; + } + + if (result.status === 'failed') { + throw new Error(`视频生成失败: ${result.error}`); + } + + console.log(`[VideoAPI] 生成中... (${attempts}/${MAX_POLL_ATTEMPTS})`); + } + + throw new Error(`轮询超时（${MAX_POLL_ATTEMPTS * POLL_INTERVAL_MS / 1000}秒）`); +} + +/** + * 【D135 新增】智能生成 — 提交前校验 + 下载前探针验证 + 自动重试 + * + * 流程： + * 预校验(免费) → 提交 → 轮询 → API响应元数据检查 → + * → ffprobe 探针(不下载)检查实际时长 + * → ✅ 匹配 → 下载 + * → ❌ 不匹配 → 报告差异，询问是否仍下载 + * + * @param {object} opts + * @param {string} opts.prompt - 提示词 + * @param {number} [opts.duration] - 期望时长 4-15秒 + * @param {string} [opts.resolution] - 分辨率 + * @param {string} [opts.outputPath] - 输出路径 + * @param {boolean} [opts.forceDownload] - 跳过探针验证直接下载 + * @param {string} [opts.model] - 【D144】模型ID覆盖 + * @param {boolean} [opts.generateAudio] - 【D144】音画同步 + * @returns {Promise<{videoPath: string, taskId: string, actualDuration: number, matched: boolean, preflight: object}>} + */ +async function validateAndGenerate({ prompt, duration, resolution, outputPath, shotId, projectKey, referenceImage, forceDownload, model, generateAudio }) { + // 提交 + 轮询 + 下载 + const result = await generateVideo({ prompt, duration, resolution, outputPath, shotId, projectKey, referenceImage, model, generateAudio }); + + // 【D135】探针验证实际时长 + let probeResult = null; + if (!forceDownload && result.videoPath) { + console.log(`[VideoAPI·验证] 正在探测下载后视频的实际时长...`); + probeResult = await probeVideoDuration(result.videoPath); + + if (probeResult.duration !== null) { + const actual = probeResult.duration; + const expected = result.duration; + const diff = Math.abs(actual - expected); + + if (diff > 1.0) { + // 差异超过1秒 → 问题 + console.warn(`[VideoAPI·验证] ⚠️ 时长不匹配！`); + console.warn(` 请求: ${expected}s → 实际: ${actual.toFixed(1)}s (差 ${diff.toFixed(1)}s)`); + return { + ...result, + actualDuration: actual, + matched: false, + probeMeta: probeResult.meta, + }; + } else { + console.log(`[VideoAPI·验证] ✅ 时长匹配: 请求${expected}s = 实际${actual.toFixed(1)}s`); + return { + ...result, + actualDuration: actual, + matched: true, + probeMeta: probeResult.meta, + }; + } + } else { + console.warn(`[VideoAPI·验证] ⚠️ ffprobe 不可用，跳过时长验证 (${probeResult.error})`); + } + } + + return { + ...result, + actualDuration: probeResult?.duration || null, + matched: null, // 无法验证 + probeMeta: probeResult?.meta || {}, + }; +} + +// ==================== 导出 ==================== + +module.exports = { + submitTask, + queryTask, + generateVideo, + validateAndGenerate, + preflightCheck, + probeVideoDuration, + downloadVideo, + resolveOutputPath, + registerVideo, + findVideo, + MODEL, + SUPPORTED_MODELS, + BASE_URL, + API_SPEC, + VIDEO_OUTPUT_ROOT, + VIDEO_REGISTRY_PATH, +}; diff --git a/engines/video-composer.js b/engines/video-composer.js new file mode 100644 index 0000000..3635a2e --- /dev/null +++ b/engines/video-composer.js @@ -0,0 +1,173 @@ +/** + * 光湖视频AI系统 · 视频合成引擎 + * D135 · 铸渊 ICE-GL-ZY001 + * + * 用途: 将多个镜头的 mp4 文件按时间线拼接为成品视频。 + * 支持硬切、溶解过渡、截取、加速、静音轨。 + * 底层调用 FFmpeg，零额外成本。 + * + * 使用方式: + * const { compose } = require('./video-composer'); + * await compose({ + * shots: [{ file, trim: 2.5 }, ...], + * transition: 'fade', // 'cut' | 'fade' + * fadeDuration: 0.3, + * output: '/Volumes/JZAO/.../output.mp4', + * }); + */ + +const { execSync } = require('child_process'); +const fs = require('fs'); +const path = require('path'); + +// ==================== 默认输出 ==================== +const DEFAULT_OUTPUT_DIR = (() => { + const jzao = '/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频'; + return fs.existsSync(jzao) ? jzao : path.resolve(__dirname, '../outputs'); +})(); + +// ==================== 核心 ==================== + +/** + * 合成视频 + * @param {object[]} opts.shots - 镜头列表 [{ file, trim: 秒数 }, ...] + * @param {string} [opts.transition] - 'cut' 硬切(默认) | 'fade' 溶解 + * @param {number} [opts.fadeDuration] - 溶解时长秒数 (默认0.3) + * @param {string} [opts.output] - 输出路径 + * @param {number} [opts.fps] - 帧率 (默认与首镜相同) + * @returns {Promise<{outputPath: string, duration: number, size: string}>} + */ +async function compose({ shots, transition = 'fade', fadeDuration = 0.3, output, fps }) { + if (!shots || shots.length === 0) throw new Error('镜头列表不能为空'); + if (shots.length === 1) { + const src = shots[0].file; + const dest = output || path.join(DEFAULT_OUTPUT_DIR, `composed-${Date.now()}.mp4`); + fs.copyFileSync(src, dest); + const dur = probeSec(dest); + return { outputPath: dest, duration: dur, size: fmtSize(dest) }; + } + + const tmpDir = path.join(DEFAULT_OUTPUT_DIR, '.composer-tmp'); + fs.mkdirSync(tmpDir, { recursive: true }); + + // Step1: 截取每镜到目标时长，统一帧率和编码 + const trimmed = []; + for (let i = 0; i < shots.length; i++) { + const s = shots[i]; + const tFile = path.join(tmpDir, `trim_${i}_${Date.now()}.mp4`); + const trimDur = s.trim || probeSec(s.file); + const fpsFlag = fps ? `-r ${fps}` : ''; + execSync( + `ffmpeg -y -i "${s.file}" -t ${trimDur} ${fpsFlag} -c:v libx264 -preset ultrafast -crf 18 -an "${tFile}" 2>/dev/null`, + { timeout: 30000 } + ); + if (!fs.existsSync(tFile)) throw new Error(`截取失败: 镜${i + 1}`); + trimmed.push({ file: tFile, dur: trimDur }); + } + + // Step2: 拼接 + const finalPath = output || path.join(DEFAULT_OUTPUT_DIR, `composed-${Date.now()}.mp4`); + + if (transition === 'fade' && trimmed.length >= 2) { + await composeXFade(trimmed, finalPath, fadeDuration); + } else { + await composeCut(trimmed, finalPath); + } + + // Step3: faststart（播放器优化，失败不影响） + try { + const tmp = finalPath + '.tmp'; + execSync(`ffmpeg -y -i "${finalPath}" -c copy -movflags +faststart "${tmp}" 2>/dev/null`, { timeout: 15000 }); + if (fs.existsSync(tmp)) { fs.unlinkSync(finalPath); fs.renameSync(tmp, finalPath); } + } catch (_) { /* faststart is optional */ } + + // Step4: 清理临时文件 + trimmed.forEach(t => { try { fs.unlinkSync(t.file); } catch (_) {} }); + + const dur = probeSec(finalPath); + console.log(`[Composer] ✅ ${finalPath} ${dur.toFixed(1)}s ${fmtSize(finalPath)}`); + return { outputPath: finalPath, duration: dur, size: fmtSize(finalPath) }; +} + +/** + * 硬切拼接（无过渡） + */ +function composeCut(trimmed, output) { + const listFile = path.join(path.dirname(output), '.concat-list.txt'); + const list = trimmed.map(t => `file '${t.file}'`).join('\n'); + fs.writeFileSync(listFile, list); + execSync( + `ffmpeg -y -f concat -safe 0 -i "${listFile}" -c copy "${output}" 2>/dev/null`, + { timeout: 30000 } + ); + try { fs.unlinkSync(listFile); } catch (_) {} +} + +/** + * 溶解过渡拼接 + */ +function composeXFade(trimmed, output, fadeDur) { + if (trimmed.length === 2) { + // 两镜：直接 xfade + execSync( + `ffmpeg -y -i "${trimmed[0].file}" -i "${trimmed[1].file}" ` + + `-filter_complex "xfade=transition=fade:duration=${fadeDur}:offset=${(trimmed[0].dur - fadeDur).toFixed(1)}" ` + + `-c:v libx264 -preset fast -crf 23 -an "${output}" 2>/dev/null`, + { timeout: 60000 } + ); + return; + } + + // 多镜：链式 xfade + let filterLines = ''; + let prevLabel = '0:v'; + let totalDur = 0; + const offsets = []; + + for (let i = 0; i < trimmed.length; i++) { + if (i > 0) { + const offset = (totalDur - fadeDur).toFixed(1); + const newLabel = i < trimmed.length - 1 ? `vt${i}` : 'vout'; + filterLines += `[${prevLabel}][${i}:v]xfade=transition=fade:duration=${fadeDur}:offset=${offset}[${newLabel}];\n`; + prevLabel = newLabel; + totalDur += trimmed[i].dur - fadeDur; + } else { + totalDur = trimmed[i].dur; + } + } + + const inputFlags = trimmed.map((_, i) => `-i "${trimmed[i].file}"`).join(' '); + const fullFilter = filterLines.trim(); + const mapOut = trimmed.length > 2 ? 'vout' : '1:v'; + + execSync( + `ffmpeg -y ${inputFlags} -filter_complex "${fullFilter}" ` + + `-map "[${prevLabel}]" -c:v libx264 -preset fast -crf 23 -an "${output}" 2>/dev/null`, + { timeout: 120000 } + ); +} + +// ==================== 工具 ==================== + +function probeSec(file) { + try { + const out = execSync( + `ffprobe -v quiet -show_entries format=duration -of csv=p=0 "${file}"`, + { timeout: 5000, encoding: 'utf8' } + ); + return parseFloat(out.trim()); + } catch (_) { + return 4.0; // fallback + } +} + +function fmtSize(file) { + try { + const stat = fs.statSync(file); + return stat.size < 1048576 + ? `${(stat.size / 1024).toFixed(0)}KB` + : `${(stat.size / 1048576).toFixed(1)}MB`; + } catch (_) { return '?'; } +} + +module.exports = { compose, probeSec }; diff --git a/engines/video-editor.js b/engines/video-editor.js new file mode 100644 index 0000000..973f02e --- /dev/null +++ b/engines/video-editor.js @@ -0,0 +1,393 @@ +/** + * 光湖视频AI系统 · 视频剪辑引擎 v2.0 + * D136+ · 铸渊 ICE-GL-ZY001 + * + * 基于 video-composer.js (D135) 升级。 + * 差异：composer 只能拼。editor 能剪。 + * + * composer: [视频] + [视频] + fade = 拼接 + * editor: [视频×N] + [配音] + [BGM] + [字幕] = 成品 + * + * 全 ffmpeg 驱动。零 GUI 依赖。每一个参数铸渊能改。 + * + * 使用方式: + * const { edit } = require('./video-editor'); + * await edit({ + * timeline: [ + * { shot: 'shot01.mp4', trim: 3.5, transition: 'fade', + * keyframes: { zoom: { from: 1.0, to: 1.15 }, pan: { from: [0,0], to: [60,-80] } } }, + * { shot: 'shot02.mp4', trim: 2.0, transition: 'cut' }, + * ], + * audio: { + * voice: 'voiceover.wav', // 配音 + * bgm: 'bgm.mp3', // 背景音乐 + * sfx: [{ at: 2.5, file: 'hit.wav' }], // 音效 + * bgmVolume: 0.3, // BGM音量 + * voiceVolume: 1.0, + * }, + * subtitle: 'subtitles.srt', // SRT字幕文件 + * colorGrade: { + * brightness: 0, contrast: 1.1, saturation: 1.05, + * }, + * resolution: { w: 1920, h: 1080 }, // 统一分辨率 + * fps: 24, + * output: './output/final.mp4', + * }); + */ + +const { execSync, spawnSync } = require('child_process'); +const fs = require('fs'); +const path = require('path'); + +// ==================== 输出目录 ==================== +const OUT = '/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频'; +const DEFAULT_OUT = fs.existsSync(OUT) ? OUT : path.resolve(__dirname, '../outputs'); + +// ==================== 主入口 ==================== + +/** + * 一站式剪辑 + */ +async function edit({ + timeline, audio, subtitle, colorGrade, + resolution, fps, output, +}) { + if (!timeline || timeline.length === 0) throw new Error('timeline 不能为空'); + + const w = resolution?.w || 1920; + const h = resolution?.h || 1080; + const fpsVal = fps || 24; + const color = colorGrade || {}; + const tmp = path.join(DEFAULT_OUT, `.editor-${Date.now()}`); + fs.mkdirSync(tmp, { recursive: true }); + const outPath = output || path.join(DEFAULT_OUT, `edited-${Date.now()}.mp4`); + + console.log('[Editor] ─── 剪辑开始 ───'); + console.log(`[Editor] 镜数: ${timeline.length} | ${w}×${h} @${fpsVal}fps`); + + // ── Step 1: 预处理每镜 ── + console.log('[Editor] 1/5 预处理镜头...'); + const prepped = []; + for (let i = 0; i < timeline.length; i++) { + const t = timeline[i]; + const pFile = path.join(tmp, `prep_${i}.mp4`); + const dur = t.trim || probeSec(t.shot); + prepShot(t.shot, pFile, { w, h, fps: fpsVal, dur, color, keyframes: t.keyframes }); + prepped.push({ file: pFile, dur, transition: t.transition || 'fade' }); + console.log(` 镜${i + 1}: ${path.basename(t.shot)} → trim ${dur}s`); + } + + // ── Step 2: 拼接视频轨 ── + console.log('[Editor] 2/5 拼接视频轨...'); + const videoOnly = path.join(tmp, 'video_track.mp4'); + await composeTimeline(prepped, videoOnly, fpsVal); + + // ── Step 3: 处理音频轨 ── + let videoWithAudio = videoOnly; + if (audio) { + console.log('[Editor] 3/5 合成音频轨...'); + const audioMix = path.join(tmp, 'audio_mix.wav'); + await mixAudioTrack(audio, audioMix, probeSec(videoOnly)); + videoWithAudio = path.join(tmp, 'video_audio.mp4'); + mergeAudio(videoOnly, audioMix, videoWithAudio); + } + + // ── Step 4: 烧录字幕 ── + let final = videoWithAudio; + if (subtitle && fs.existsSync(subtitle)) { + console.log('[Editor] 4/5 烧录字幕...'); + final = path.join(tmp, 'subtitled.mp4'); + burnSubtitles(videoWithAudio, subtitle, final); + } else { + console.log('[Editor] 4/5 无字幕·跳过'); + } + + // ── Step 5: 最终编码 ── + console.log('[Editor] 5/5 最终编码...'); + finalEncode(final, outPath); + + // 统计 + const d = probeSec(outPath); + const s = fmtSize(outPath); + console.log(`[Editor] ✅ ${outPath}\n[Editor] 时长: ${d.toFixed(1)}s 大小: ${s}`); + + // 清理 + try { fs.rmSync(tmp, { recursive: true }); } catch (_) {} + + return { outputPath: outPath, duration: d, size: s }; +} + +// ==================== Step 1: 镜头预处理 ==================== + +/** + * 预处理单镜：统一分辨率/帧率/调色 → 关键帧动画 → 输出标准化片段 + * + * keyframes 支持三种动画叠加: + * zoom: { from: 1.0, to: 1.2 } → 慢推 20% + * pan: { from: [0,0], to: [80,-40] } → 平移 (px, 从画面中心) + * rotate:{ from: 0, to: 3 } → 缓转 3° + * + * 示例: 镜1从全景慢推到苏白面部 + * keyframes: { zoom: { from: 1.0, to: 1.15 }, pan: { from: [0,0], to: [60,-80] } } + */ +function prepShot(src, dest, { w, h, fps, dur, color, keyframes }) { + const hasZoom = keyframes?.zoom; + const hasPan = keyframes?.pan; + const hasRotate= keyframes?.rotate; + + // ── 构建 filter 链 ── + const vfParts = []; + + if (hasZoom || hasPan) { + // zoompan 同时处理缩放+平移 — 替代 scale+pad + vfParts.push(buildZoomPan({ w, h, fps, dur, keyframes })); + } else { + // 无动画: 固定缩放 + vfParts.push(`scale=${w}:${h}:force_original_aspect_ratio=decrease,pad=${w}:${h}:(ow-iw)/2:(oh-ih)/2`); + } + + // 调色 + const eq = []; + if (color?.brightness) eq.push(`brightness=${color.brightness}`); + if (color?.contrast) eq.push(`contrast=${color.contrast}`); + if (color?.saturation) eq.push(`saturation=${color.saturation}`); + if (eq.length) vfParts.push(`eq=${eq.join(':')}`); + + // 旋转 + if (hasRotate) { + const angle = keyframes.rotate.to != null ? keyframes.rotate.to : keyframes.rotate; + vfParts.push(`rotate=${angle}*PI/180:c=none:ow=rotw(${angle}*PI/180):oh=roth(${angle}*PI/180)`); + } + + const vf = vfParts.join(','); + const fpsFlag = fps ? `-r ${fps}` : ''; + + execSync( + `ffmpeg -y -i "${src}" -t ${dur} ${fpsFlag} ` + + `-vf "${vf}" -c:v libx264 -preset ultrafast -crf 18 -an "${dest}" 2>/dev/null`, + { timeout: 45000 } + ); + + if (!fs.existsSync(dest)) throw new Error(`预处理失败: ${path.basename(src)}`); +} + +/** + * 构建 zoompan filter 表达式 + * + * zoompan 原理: + * z = 缩放倍率 (0~10) + * d = 1 (逐帧处理) + * x,y= 画面位移 (相对于输出尺寸的左上角偏移) + * s = 输出分辨率 + * + * on变量 = 当前处理的帧序号 (从1开始) + * 首帧: if(eq(on,1), start_val, ...) + * 后续: 在上一帧基础上增量 + */ +function buildZoomPan({ w, h, fps, dur, keyframes }) { + const frames = Math.round(dur * fps) || 30; // 总帧数 + const zf = keyframes.zoom?.from ?? 1.0; + const zt = keyframes.zoom?.to ?? zf; + const zStep = (zt - zf) / frames; + + const panFromX = keyframes.pan?.from?.[0] ?? 0; + const panFromY = keyframes.pan?.from?.[1] ?? 0; + const panToX = keyframes.pan?.to?.[0] ?? panFromX; + const panToY = keyframes.pan?.to?.[1] ?? panFromY; + const pxStep = (panToX - panFromX) / frames; + const pyStep = (panToY - panFromY) / frames; + + // zoom: 首帧=zf, 否则=zoom+zStep (基于表达式中的zoom变量累加) + // pan: 首帧=偏移量, 逐帧累加 + const zExpr = `if(eq(on,1),${zf},zoom+${zStep.toFixed(8)})`; + const xExpr = `iw/2-(iw/zoom/2)+if(eq(on,1),${panFromX},${panFromX}+on*${pxStep.toFixed(4)})`; + const yExpr = `ih/2-(ih/zoom/2)+if(eq(on,1),${panFromY},${panFromY}+on*${pyStep.toFixed(4)})`; + + return `zoompan=z='${zExpr}':d=1:x='${xExpr}':y='${yExpr}':s=${w}x${h}`; +} + +// ==================== Step 2: 视频拼接 ==================== + +function composeTimeline(shots, output, fps) { + if (shots.length === 1) { + fs.copyFileSync(shots[0].file, output); + return; + } + composeXFadeChain(shots, output, fps); +} + +function composeXFadeChain(shots, output, fps) { + // 用 concat demuxer + xfade filter 链式拼接 + // 每镜之间的过渡由 transition 决定 + + let filter = ''; + let prev = '0:v'; + let accumDur = shots[0].dur; + const inputs = shots.map((s, i) => `-i "${s.file}"`).join(' '); + + for (let i = 1; i < shots.length; i++) { + const fadeDur = shots[i].transition === 'cut' ? 0.1 : 0.3; + const offset = (accumDur - fadeDur).toFixed(2); + const label = i < shots.length - 1 ? `v${i}` : 'vout'; + filter += `[${prev}][${i}:v]xfade=transition=fade:duration=${fadeDur}:offset=${offset}[${label}];\n`; + prev = label; + accumDur += shots[i].dur - fadeDur; + } + + execSync( + `ffmpeg -y ${inputs} -filter_complex "${filter.trim()}" ` + + `-map "[${prev}]" -r ${fps || 24} -c:v libx264 -preset fast -crf 23 -an "${output}" 2>/dev/null`, + { timeout: 120000 } + ); +} + +// ==================== Step 3: 音频混合 ==================== + +function mixAudioTrack({ voice, bgm, sfx, bgmVolume, voiceVolume }, output, duration) { + // 构建 filter_complex: 多输入混合 + 音量控制 + const inputs = []; + const filters = []; + let streamIdx = 0; + const mixInputs = []; + + // 配音轨 + if (voice && fs.existsSync(voice)) { + inputs.push(`-i "${voice}"`); + const vol = voiceVolume != null ? voiceVolume : 1.0; + const padDur = duration > 0 ? `,adelay=0|0,apad=pad_dur=${duration}` : ''; + filters.push(`[${streamIdx}:a]volume=${vol}${padDur}[vce];`); + mixInputs.push('[vce]'); + streamIdx++; + } + + // BGM轨 + if (bgm && fs.existsSync(bgm)) { + inputs.push(`-i "${bgm}"`); + const vol = bgmVolume != null ? bgmVolume : 0.3; + const padDur = duration > 0 ? `,adelay=0|0,apad=pad_dur=${duration}` : ''; + filters.push(`[${streamIdx}:a]volume=${vol}${padDur}[bgm];`); + mixInputs.push('[bgm]'); + streamIdx++; + } + + // 音效轨 + if (sfx && sfx.length > 0) { + for (const s of sfx) { + if (!fs.existsSync(s.file)) continue; + inputs.push(`-i "${s.file}"`); + const delay = (s.at || 0) * 1000; // 毫秒 + const padDur = duration > 0 ? `,adelay=${delay}|${delay},apad=pad_dur=${duration}` : `,adelay=${delay}|${delay}`; + filters.push(`[${streamIdx}:a]volume=1.0${padDur}[sfx${streamIdx}];`); + mixInputs.push(`[sfx${streamIdx}]`); + streamIdx++; + } + } + + if (mixInputs.length === 0) { + // 静音轨 + execSync(`ffmpeg -y -f lavfi -i anullsrc=r=44100:cl=stereo -t ${duration} -c:a pcm_s16le "${output}" 2>/dev/null`); + return; + } + + if (mixInputs.length === 1) { + // 只有一个输入 + const filterFull = filters.join('\n').replace(/\[(vce|bgm|sfx\d+)\];/, ''); + execSync( + `ffmpeg -y ${inputs.join(' ')} -filter_complex "${filterFull.trim()}" ` + + `-c:a pcm_s16le "${output}" 2>/dev/null`, + { timeout: 60000 } + ); + return; + } + + // 多输入混合 + const amix = mixInputs.join(''); + const mixFilter = `${filters.join('\n')}${amix}amix=inputs=${mixInputs.length}:duration=longest:dropout_transition=2[amix]`; + execSync( + `ffmpeg -y ${inputs.join(' ')} -filter_complex "${mixFilter}" ` + + `-map "[amix]" -c:a pcm_s16le "${output}" 2>/dev/null`, + { timeout: 60000 } + ); +} + +function mergeAudio(videoFile, audioFile, output) { + execSync( + `ffmpeg -y -i "${videoFile}" -i "${audioFile}" ` + + `-c:v copy -c:a aac -b:a 192k -shortest -map 0:v:0 -map 1:a:0 "${output}" 2>/dev/null`, + { timeout: 60000 } + ); +} + +// ==================== Step 4: 字幕烧录 ==================== + +function burnSubtitles(videoFile, srtFile, output) { + // SRT 内嵌到视频帧 + // 用 subtitles filter: 中文兼容 · 字体回退 + execSync( + `ffmpeg -y -i "${videoFile}" -vf ` + + `"subtitles='${srtFile}':force_style='FontName=PingFang SC,Fontsize=28,PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,Outline=1.5,Shadow=1,MarginV=30'" ` + + `-c:v libx264 -preset fast -crf 23 -c:a copy "${output}" 2>/dev/null`, + { timeout: 120000 } + ); +} + +// ==================== Step 5: 最终编码 ==================== + +function finalEncode(src, dest) { + execSync( + `ffmpeg -y -i "${src}" ` + + `-c:v libx264 -preset medium -crf 21 ` + + `-c:a aac -b:a 192k -movflags +faststart "${dest}" 2>/dev/null`, + { timeout: 60000 } + ); +} + +// ==================== 工具 ==================== + +function probeSec(file) { + try { + const out = execSync( + `ffprobe -v quiet -show_entries format=duration -of csv=p=0 "${file}"`, + { timeout: 5000, encoding: 'utf8' } + ); + return parseFloat(out.trim()) || 4.0; + } catch (_) { return 4.0; } +} + +function fmtSize(file) { + try { + const s = fs.statSync(file).size; + return s < 1048576 ? `${(s / 1024).toFixed(0)}KB` : `${(s / 1048576).toFixed(1)}MB`; + } catch (_) { return '?'; } +} + +// ==================== 子工具：独立字幕生成 ==================== + +/** + * 从文本生成 SRT 字幕（简单场景：每句均匀分配） + * @param {string[]} lines - 字幕文本行 + * @param {number} duration - 视频总时长(秒) + */ +function generateSRT(lines, duration) { + const perLine = duration / lines.length; + let srt = ''; + for (let i = 0; i < lines.length; i++) { + const start = i * perLine; + const end = start + perLine; + srt += `${i + 1}\n`; + srt += `${fmtTime(start)} --> ${fmtTime(end)}\n`; + srt += `${lines[i]}\n\n`; + } + return srt; +} + +function fmtTime(sec) { + const h = Math.floor(sec / 3600); + const m = Math.floor((sec % 3600) / 60); + const s = (sec % 60).toFixed(3); + return `${String(h).padStart(2, '0')}:${String(m).padStart(2, '0')}:${String(s).padStart(6, '0')}`.replace('.', ','); +} + +// ==================== 导出 ==================== + +module.exports = { edit, composeTimeline, mixAudioTrack, burnSubtitles, generateSRT, probeSec }; diff --git a/engines/voice-emotion-compiler.py b/engines/voice-emotion-compiler.py new file mode 100644 index 0000000..340822f --- /dev/null +++ b/engines/voice-emotion-compiler.py @@ -0,0 +1,411 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +""" +VOICE-EMOTION-COMPILER +语音情感编译器 — 把"苏白·大声·自信"转成 TTS 参数。 + +功能: +1. 情感标签解析 ("苏白·大声·自信" → rate/pitch/volume) +2. 支持 Edge-TTS 和豆包语音 A/B 测试 +3. 生成 voice_profile.hdlp 供 Agent_04 读取 +4. 批量生成不同情感参数的音频供 A/B 测试 + +用法: + python voice-emotion-compiler.py --text "未来的天下第一宗！" --emotion "苏白·大声·自信" --output su-bai-loud.mp3 + python voice-emotion-compiler.py --ab-test --text "你好" --emotion "苏白·平静" + python voice-emotion-compiler.py --generate-profile --character "苏白" +""" + +import os +import sys +import json +import argparse +import importlib.util +from pathlib import Path +from datetime import datetime + +PROJECT_ROOT = Path(__file__).parent.parent +sys.path.insert(0, str(PROJECT_ROOT / "engines")) + +# 导入现有的 TTS 引擎。文件名是 tts-engine.py，不能用普通 import。 +tts_engine_path = PROJECT_ROOT / "engines" / "tts-engine.py" +try: + spec = importlib.util.spec_from_file_location("tts_engine", tts_engine_path) + tts_engine = importlib.util.module_from_spec(spec) + spec.loader.exec_module(tts_engine) + generate_speech = tts_engine.generate_speech + generate_by_character = tts_engine.generate_by_character + load_voice_config = tts_engine.load_voice_config +except Exception as exc: + print(f"⚠️ 无法导入 tts-engine，将使用简化模式: {exc}") + generate_speech = None + generate_by_character = None + + +class VoiceEmotionCompiler: + """语音情感编译器""" + + # 情感映射表: "角色·情感·强度" → TTS 参数 + EMOTION_MAP = { + # 苏白情感库 + "苏白·平静·正常": { + "rate": "+0%", + "pitch": "+0Hz", + "volume": "+0%", + "voice": "zh-CN-XiaoxiaoNeural", # 阳光少年音 + "style": None, # Edge-TTS 不支持 style，用参数模拟 + }, + "苏白·大声·自信": { + "rate": "+20%", # 语速加快 + "pitch": "+10Hz", # 音调略高 + "volume": "+15%", # 音量增加 + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + }, + "苏白·小声·犹豫": { + "rate": "-15%", + "pitch": "-5Hz", + "volume": "-10%", + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + }, + "苏白·生气·愤怒": { + "rate": "+25%", + "pitch": "+15Hz", + "volume": "+20%", + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + }, + "苏白·惊讶·震惊": { + "rate": "+30%", + "pitch": "+20Hz", + "volume": "+10%", + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + }, + "苏白·悲伤·失落": { + "rate": "-20%", + "pitch": "-10Hz", + "volume": "-5%", + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + }, + + # 诸葛风情感库 + "诸葛风·平静·沉稳": { + "rate": "+0%", + "pitch": "-5Hz", + "volume": "+0%", + "voice": "zh-CN-YunxiNeural", # 沉稳男声 + "style": None, + }, + "诸葛风·大声·威严": { + "rate": "+10%", + "pitch": "-10Hz", # 低沉有力 + "volume": "+20%", + "voice": "zh-CN-YunxiNeural", + "style": None, + }, + + # 萧灵汐情感库 + "萧灵汐·平静·清冷": { + "rate": "+0%", + "pitch": "+5Hz", + "volume": "+0%", + "voice": "zh-CN-XiaoyiNeural", # 清冷女声 + "style": None, + }, + "萧灵汐·大声·愤怒": { + "rate": "+15%", + "pitch": "+10Hz", + "volume": "+15%", + "voice": "zh-CN-XiaoyiNeural", + "style": None, + }, + } + + # 豆包语音情感映射 (如果豆包 API 支持情感参数) + DOUBAO_EMOTION_MAP = { + "苏白·平静·正常": {"emotion": "neutral", "speed": 1.0, "pitch": 1.0, "volume": 1.0}, + "苏白·大声·自信": {"emotion": "happy", "speed": 1.2, "pitch": 1.1, "volume": 1.15}, + "苏白·生气·愤怒": {"emotion": "angry", "speed": 1.25, "pitch": 1.15, "volume": 1.2}, + "苏白·惊讶·震惊": {"emotion": "surprised", "speed": 1.3, "pitch": 1.2, "volume": 1.1}, + "苏白·悲伤·失落": {"emotion": "sad", "speed": 0.8, "pitch": 0.9, "volume": 0.95}, + } + + def __init__(self, character=None): + self.character = character + self.voice_profiles = {} + + def parse_emotion_tag(self, emotion_tag): + """ + 解析情感标签 + 格式: "角色·情感·强度" 或 "情感·强度" + 返回: TTS 参数字典 + """ + print(f"🔍 解析情感标签: {emotion_tag}") + + # 直接查找映射表 + if emotion_tag in self.EMOTION_MAP: + params = self.EMOTION_MAP[emotion_tag].copy() + print(f" ✅ 找到映射: rate={params['rate']}, pitch={params['pitch']}, volume={params['volume']}") + return params + + # 模糊匹配: 只给情感，不给角色 + for key, val in self.EMOTION_MAP.items(): + if emotion_tag in key: + params = val.copy() + print(f" ⚠️ 模糊匹配: {key} → rate={params['rate']}") + return params + + # 未找到，使用默认 + print(f" ⚠️ 未找到映射，使用默认参数") + return { + "rate": "+0%", + "pitch": "+0Hz", + "volume": "+0%", + "voice": "zh-CN-XiaoxiaoNeural", + "style": None, + } + + def compile_to_tts_params(self, emotion_tag, engine="edge-tts"): + """ + 将情感标签编译为 TTS 参数 + engine: "edge-tts" | "doubao" + """ + if engine == "edge-tts": + return self.parse_emotion_tag(emotion_tag) + elif engine == "doubao": + # 豆包语音参数 + if emotion_tag in self.DOUBAO_EMOTION_MAP: + return self.DOUBAO_EMOTION_MAP[emotion_tag] + else: + return {"emotion": "neutral", "speed": 1.0, "pitch": 1.0, "volume": 1.0} + else: + raise ValueError(f"不支持的引擎: {engine}") + + def generate_speech_with_emotion(self, text, emotion_tag, output_path, engine="edge-tts"): + """ + 生成带情感的语音 + """ + print(f"\n🎤 生成情感语音") + print(f" 文本: {text}") + print(f" 情感: {emotion_tag}") + print(f" 引擎: {engine}") + + params = self.compile_to_tts_params(emotion_tag, engine) + + if engine == "edge-tts": + if generate_speech is None: + print(" ❌ tts-engine 不可用") + return False + + ok = generate_speech( + text=text, + output_path=output_path, + voice=params["voice"], + rate=params["rate"], + pitch=params["pitch"], + volume=params["volume"] + ) + return ok + + elif engine == "doubao": + # 豆包语音 API 调用 + print(f" 📤 调用豆包语音 API...") + print(f" 参数: {params}") + # TODO: 实现豆包 API 调用 + # doubao_api_call(text, output_path, params) + print(f" ⚠️ 豆包 API 调用未实现") + return False + + return False + + def ab_test(self, text, emotion_tag, output_dir): + """ + A/B 测试: 生成不同参数的音频 + """ + print(f"\n🧪 A/B 测试: {emotion_tag}") + print(f" 文本: {text}") + + output_dir = Path(output_dir) + output_dir.mkdir(parents=True, exist_ok=True) + + results = [] + + # 生成多个变体 + variants = self._generate_variants(emotion_tag) + + for i, variant_params in enumerate(variants): + output_path = output_dir / f"ab-test-{i+1:03d}.mp3" + print(f"\n [{i+1}/{len(variants)}] {variant_params['label']}") + + if generate_speech: + ok = generate_speech( + text=text, + output_path=str(output_path), + voice=variant_params["params"]["voice"], + rate=variant_params["params"]["rate"], + pitch=variant_params["params"]["pitch"], + volume=variant_params["params"]["volume"] + ) + if ok: + results.append({ + "label": variant_params["label"], + "path": str(output_path), + "params": variant_params["params"] + }) + + # 生成 A/B 测试报告 + report_path = output_dir / "ab-test-report.json" + with open(report_path, "w", encoding="utf-8") as f: + json.dump({ + "emotion_tag": emotion_tag, + "text": text, + "variants": results, + "generated_at": datetime.now().isoformat() + }, f, ensure_ascii=False, indent=2) + + print(f"\n✅ A/B 测试完成，生成 {len(results)} 个变体") + print(f" 报告: {report_path}") + + return results + + def _generate_variants(self, emotion_tag): + """生成多个变体参数""" + base_params = self.parse_emotion_tag(emotion_tag) + + variants = [ + {"label": "基准", "params": base_params}, + {"label": "语速+10%", "params": {**base_params, "rate": f"+{int(base_params['rate'].strip('%+')) + 10}%"}}, + {"label": "音调+5Hz", "params": {**base_params, "pitch": f"+{int(base_params['pitch'].strip('Hz+')) + 5}Hz"}}, + {"label": "音量+10%", "params": {**base_params, "volume": f"+{int(base_params['volume'].strip('%+')) + 10}%"}}, + ] + + return variants + + def generate_voice_profile(self, character): + """ + 生成角色的 voice_profile.hdlp + 保存到 assets/characters//voice/voice-profile.hdlp + """ + print(f"\n📝 生成 {character} 的语音画像...") + + character_dir = PROJECT_ROOT / "assets" / "characters" / character + voice_dir = character_dir / "voice" + voice_dir.mkdir(parents=True, exist_ok=True) + + profile_path = voice_dir / "voice-profile.hdlp" + + # 收集该角色的所有情感 + character_prefix = character.replace("CHAR-", "").replace("-", "") + # 简单匹配: 找所有以 "苏白" 开头的情感标签 + emotions = {} + for key in self.EMOTION_MAP.keys(): + if key.startswith("苏白"): # TODO: 根据实际角色名匹配 + emotions[key] = self.EMOTION_MAP[key] + + # 生成 HLDP 格式的配置 + profile_content = f"""# 语音画像 · {character} + +> HLDP://video-ai-system/assets/characters/{character}/voice/voice-profile +> 类型: 语音配置 · 情感参数映射 +> 建立: D144 · 2026-06-24 +> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞ + +--- + +## 默认音色 + +``` +voice: {list(emotions.values())[0]['voice'] if emotions else 'zh-CN-XiaoxiaoNeural'} +engine: edge-tts +``` + +--- + +## 情感参数映射 + +""" + + for emotion_tag, params in emotions.items(): + profile_content += f"""### {emotion_tag} + +``` +rate: {params['rate']} +pitch: {params['pitch']} +volume: {params['volume']} +voice: {params['voice']} +``` + +""" + + profile_content += """--- + +## 使用方式 + +``` +from voice_emotion_compiler import VoiceEmotionCompiler +compiler = VoiceEmotionCompiler() +params = compiler.compile_to_tts_params("苏白·大声·自信", engine="edge-tts") +generate_speech(text, output_path, **params) +``` + +--- + +⊢ 此文件由 VOICE-EMOTION-COMPILER 自动生成。 +⊢ Agent_04 (配音) 读取此文件获取角色情感参数。 +""" + + with open(profile_path, "w", encoding="utf-8") as f: + f.write(profile_content) + + print(f" ✅ 已生成: {profile_path}") + return profile_path + + +def main(): + parser = argparse.ArgumentParser(description="VOICE-EMOTION-COMPILER") + parser.add_argument("--text", type=str, help="要合成的文本") + parser.add_argument("--emotion", type=str, help="情感标签 (如: '苏白·大声·自信')") + parser.add_argument("--output", type=str, help="输出音频路径") + parser.add_argument("--engine", type=str, default="edge-tts", choices=["edge-tts", "doubao"], help="TTS 引擎") + parser.add_argument("--ab-test", action="store_true", help="A/B 测试模式") + parser.add_argument("--output-dir", type=str, help="A/B 测试输出目录") + parser.add_argument("--generate-profile", action="store_true", help="生成 voice_profile.hdlp") + parser.add_argument("--character", type=str, help="角色ID") + + args = parser.parse_args() + + compiler = VoiceEmotionCompiler() + + if args.generate_profile: + if not args.character: + print("❌ --generate-profile 需要 --character") + sys.exit(1) + compiler.generate_voice_profile(args.character) + sys.exit(0) + + if args.ab_test: + if not args.text or not args.emotion or not args.output_dir: + print("❌ --ab-test 需要 --text, --emotion, --output-dir") + sys.exit(1) + compiler.ab_test(args.text, args.emotion, args.output_dir) + sys.exit(0) + + if not args.text or not args.emotion or not args.output: + parser.print_help() + sys.exit(1) + + ok = compiler.generate_speech_with_emotion( + text=args.text, + emotion_tag=args.emotion, + output_path=args.output, + engine=args.engine + ) + + sys.exit(0 if ok else 1) + + +if __name__ == "__main__": + main() diff --git a/engines/volce-lipsync-adapter.py b/engines/volce-lipsync-adapter.py new file mode 100644 index 0000000..c470179 --- /dev/null +++ b/engines/volce-lipsync-adapter.py @@ -0,0 +1,104 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +""" +volce-lipsync-adapter.py · 火山引擎口型同步适配器 +D144 · 铸渊 ICE-GL-ZY001 + +对接火山引擎智能视觉服务"视频改口型"API。 +需要预先开通服务并获取 AK/SK。 + +文档: + https://www.volcengine.com/docs/85128/1462622 + +依赖: + pip install volcengine-python-sdk + +当前状态: STUB — 需要开通服务并配置 AK/SK 后才能激活 +""" + +import os +import json +import base64 +import hashlib +import hmac +import urllib.request +import urllib.parse +from datetime import datetime, timezone + + +SECRETS_FILE = "/Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env" + + +def _load_secrets(): + """加载本地密钥文件""" + secrets = {} + if os.path.isfile(SECRETS_FILE): + with open(SECRETS_FILE) as f: + for line in f: + line = line.strip() + if line and not line.startswith("#") and "=" in line: + k, v = line.split("=", 1) + secrets[k.strip()] = v.strip().strip('"').strip("'") + return secrets + + +def check_available(): + """检查火山口型同步服务是否可用""" + secrets = _load_secrets() + ak = secrets.get("VOLCE_ACCESS_KEY", "") + sk = secrets.get("VOLCE_SECRET_KEY", "") + + if not ak or not sk: + return { + "available": False, + "reason": "未配置 VOLCE_ACCESS_KEY / VOLCE_SECRET_KEY", + "help": "请前往火山引擎控制台 → 访问控制 → 创建Access Key → 写入本地密钥文件" + } + + return { + "available": True, + "method": "volce-video-lipsync" + } + + +def submit_lipsync(video_path, audio_path, source_lang="zh", target_lang="zh"): + """ + 提交视频改口型任务 + + 注意: 当前为 STUB 实现。火山引擎视频改口型 API 需要: + 1. 开通智能视觉服务 + 2. 获取独立 AK/SK（不是 JIMENG_API_KEY） + 3. 上传视频到火山 TOS 对象存储 + 4. 提交异步任务并轮询结果 + + :param video_path: 输入视频 + :param audio_path: 对白音频 + :param source_lang: 源语言 + :param target_lang: 目标语言 + :return: {success, output_path, method} + """ + status = check_available() + if not status["available"]: + return { + "success": False, + "error": status["reason"], + "method": "volce-stub" + } + + # STUB: 需要完整开通后才能调用 + return { + "success": False, + "error": "火山视频改口型 API 尚未完整接入（STUB）", + "method": "volce-stub", + "next_steps": [ + "开通火山引擎智能视觉服务", + "配置 VOLCE_ACCESS_KEY / VOLCE_SECRET_KEY", + "实现视频上传到 TOS 的逻辑", + "实现异步任务提交和轮询" + ] + } + + +if __name__ == "__main__": + result = check_available() + print(json.dumps(result, ensure_ascii=False, indent=2)) diff --git a/engines/wan-api-adapter.js b/engines/wan-api-adapter.js new file mode 100644 index 0000000..f8ddbb3 --- /dev/null +++ b/engines/wan-api-adapter.js @@ -0,0 +1,556 @@ +/** + * 光湖视频AI系统 · 阿里百炼万相 API 适配器 + * D140 · 铸渊 ICE-GL-ZY001 · 2026-06-23 + * + * 阿里云百炼平台 · 万相2.7视频生成 + * 文档: https://help.aliyun.com/zh/model-studio/text-to-video-api-reference + * + * 支持能力: + * - 文生视频 (wan2.7-t2v): 纯文本prompt生成视频 + * - 图生视频 (wan2.7-i2v): 首帧/首尾帧/音频驱动 + 文本生成视频 + * - 视频续写: 首视频片段续写 + * + * 使用方式: + * const { generateWanVideo, generateWanImageToVideo, queryWanTask } = require('./wan-api-adapter'); + * const result = await generateWanVideo({ prompt: '一只小猫在月光下奔跑', duration: 5 }); + * + * 环境变量（放在 video-ai-system/.env）: + * ALIYUN_BAILIAN_API_KEY= + * ALIYUN_BAILIAN_BASE_URL=https://dashscope.aliyuncs.com/api/v1 (默认) + * ALIYUN_BAILIAN_WORKSPACE_ID= (可选·新加坡地域时需要) + */ + +const fs = require('fs'); +const path = require('path'); +const https = require('https'); +const http = require('http'); +const { loadVideoAiEnv } = require('./env-loader'); + +loadVideoAiEnv(path.resolve(__dirname, '../.env')); + +const API_KEY = process.env.ALIYUN_BAILIAN_API_KEY || ''; +const WORKSPACE_ID = process.env.ALIYUN_BAILIAN_WORKSPACE_ID || ''; +// 北京地域默认URL；新加坡地域需要 workspaceId +const BASE_URL = WORKSPACE_ID + ? `https://${WORKSPACE_ID}.ap-southeast-1.maas.aliyuncs.com/api/v1` + : (process.env.ALIYUN_BAILIAN_BASE_URL || 'https://dashscope.aliyuncs.com/api/v1'); +const POLL_INTERVAL_MS = parseInt(process.env.WAN_POLL_INTERVAL_MS, 10) || 15000; // 万相建议15秒 +const MAX_POLL_ATTEMPTS = parseInt(process.env.WAN_MAX_POLL_ATTEMPTS, 10) || 80; // 最多约20分钟 + +// 输出路径 +const JZAO_VIDEO_ROOT = '/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频'; +const LOCAL_OUTPUT_ROOT = path.resolve(__dirname, '../outputs'); +const VIDEO_OUTPUT_ROOT = (() => { + const env = process.env.VIDEO_OUTPUT_ROOT; + if (env) return env; + if (fs.existsSync(JZAO_VIDEO_ROOT)) return JZAO_VIDEO_ROOT; + return LOCAL_OUTPUT_ROOT; +})(); + +// ==================== HTTP 工具 ==================== + +function httpRequest(method, urlStr, body, apiKey, extraHeaders = {}) { + const urlObj = new URL(urlStr); + const isHttps = urlObj.protocol === 'https:'; + const transport = isHttps ? https : http; + const payload = body ? JSON.stringify(body) : null; + + return new Promise((resolve, reject) => { + const headers = { + 'Authorization': `Bearer ${apiKey}`, + 'Content-Type': 'application/json', + 'X-DashScope-Async': 'enable', // 万相必须设置异步头 + ...extraHeaders, + }; + if (payload) headers['Content-Length'] = Buffer.byteLength(payload); + + const options = { + hostname: urlObj.hostname, + port: urlObj.port || (isHttps ? 443 : 80), + path: urlObj.pathname + urlObj.search, + method, + headers, + timeout: 30000, + }; + + const req = transport.request(options, (res) => { + let data = ''; + res.on('data', chunk => data += chunk); + res.on('end', () => { + try { + const json = JSON.parse(data); + // 万相错误码在顶层: { code: "xxx", message: "xxx" } + if (json.code && json.code !== 'Success' && res.statusCode >= 400) { + reject(new Error(`万相API错误(${json.code}): ${json.message}`)); + return; + } + resolve(json); + } catch (e) { + reject(new Error(`JSON解析失败: ${data.substring(0, 200)}`)); + } + }); + }); + req.on('error', reject); + req.on('timeout', () => { req.destroy(); reject(new Error('请求超时')); }); + if (payload) req.write(payload); + req.end(); + }); +} + +async function httpPost(url, body, apiKey) { + return httpRequest('POST', url, body, apiKey); +} + +async function httpGet(url, apiKey) { + return httpRequest('GET', url, null, apiKey); +} + +async function downloadFile(videoUrl, outputPath) { + const urlObj = new URL(videoUrl); + const isHttps = urlObj.protocol === 'https:'; + const transport = isHttps ? https : http; + + return new Promise((resolve, reject) => { + const dir = path.dirname(outputPath); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + + const file = fs.createWriteStream(outputPath); + transport.get(videoUrl, (res) => { + if (res.statusCode >= 300 && res.statusCode < 400 && res.headers.location) { + const redirectUrl = res.headers.location.startsWith('http') + ? res.headers.location + : `${urlObj.protocol}//${urlObj.host}${res.headers.location}`; + downloadFile(redirectUrl, outputPath).then(resolve).catch(reject); + return; + } + res.pipe(file); + file.on('finish', () => { file.close(); resolve(outputPath); }); + file.on('error', (err) => { fs.unlinkSync(outputPath); reject(err); }); + }).on('error', reject); + }); +} + +// ==================== API 规范常量 ==================== + +const WAN_T2V_SPEC = { + model: 'wan2.7-t2v', + duration: { min: 2, max: 15, default: 5 }, + resolution: { values: ['720P', '1080P'], default: '1080P' }, + ratio: { values: ['16:9', '9:16', '1:1', '4:3', '3:4'], default: '16:9' }, + promptMaxLen: 5000, +}; + +const WAN_I2V_SPEC = { + model: 'wan2.7-i2v-2026-04-25', + duration: { min: 2, max: 15, default: 5 }, + resolution: { values: ['720P', '1080P'], default: '1080P' }, + promptMaxLen: 5000, + // 图生视频的宽高比由输入素材决定，不需要单独传ratio + mediaTypes: ['first_frame', 'last_frame', 'driving_audio', 'first_clip'], +}; + +// ==================== 预校验 ==================== + +function preflightCheckT2V({ prompt, duration, resolution, ratio }) { + const warnings = []; + const errors = []; + const corrected = {}; + + // prompt + if (!prompt || !prompt.trim()) { + errors.push('提示词不能为空'); + } else if (prompt.length > WAN_T2V_SPEC.promptMaxLen) { + warnings.push(`提示词超过 ${WAN_T2V_SPEC.promptMaxLen} 字符，将自动截断`); + } + corrected.prompt = prompt; + + // duration + const dur = parseInt(duration, 10); + if (duration !== undefined && duration !== null) { + if (isNaN(dur) || dur < WAN_T2V_SPEC.duration.min || dur > WAN_T2V_SPEC.duration.max) { + errors.push(`duration 范围: ${WAN_T2V_SPEC.duration.min}~${WAN_T2V_SPEC.duration.max}秒，收到: ${duration}`); + } else { + corrected.duration = dur; + } + } else { + corrected.duration = WAN_T2V_SPEC.duration.default; + } + + // resolution + if (!resolution || !WAN_T2V_SPEC.resolution.values.includes(resolution)) { + if (resolution) warnings.push(`resolution "${resolution}" 不支持，修正为 ${WAN_T2V_SPEC.resolution.default}`); + corrected.resolution = WAN_T2V_SPEC.resolution.default; + } else { + corrected.resolution = resolution; + } + + // ratio + if (!ratio || !WAN_T2V_SPEC.ratio.values.includes(ratio)) { + if (ratio) warnings.push(`ratio "${ratio}" 不支持，修正为 ${WAN_T2V_SPEC.ratio.default}`); + corrected.ratio = WAN_T2V_SPEC.ratio.default; + } else { + corrected.ratio = ratio; + } + + return { valid: errors.length === 0, warnings, errors, corrected }; +} + +function preflightCheckI2V({ prompt, media, duration, resolution }) { + const warnings = []; + const errors = []; + const corrected = {}; + + // media必选 + if (!media || !Array.isArray(media) || media.length === 0) { + errors.push('图生视频必须提供 media 素材（至少一个 first_frame）'); + } else { + // 检查media格式 + for (const m of media) { + if (!WAN_I2V_SPEC.mediaTypes.includes(m.type)) { + errors.push(`media type "${m.type}" 不支持，可选: ${WAN_I2V_SPEC.mediaTypes.join(', ')}`); + } + if (!m.url) { + errors.push(`media ${m.type} 缺少 url`); + } + } + corrected.media = media; + } + + // prompt可选 + corrected.prompt = prompt || ''; + + // duration + const dur = parseInt(duration, 10); + if (duration !== undefined && duration !== null) { + if (isNaN(dur) || dur < WAN_I2V_SPEC.duration.min || dur > WAN_I2V_SPEC.duration.max) { + errors.push(`duration 范围: ${WAN_I2V_SPEC.duration.min}~${WAN_I2V_SPEC.duration.max}秒`); + } else { + corrected.duration = dur; + } + } else { + corrected.duration = WAN_I2V_SPEC.duration.default; + } + + // resolution + if (!resolution || !WAN_I2V_SPEC.resolution.values.includes(resolution)) { + if (resolution) warnings.push(`resolution "${resolution}" 不支持，修正为 ${WAN_I2V_SPEC.resolution.default}`); + corrected.resolution = WAN_I2V_SPEC.resolution.default; + } else { + corrected.resolution = resolution; + } + + return { valid: errors.length === 0, warnings, errors, corrected }; +} + +// ==================== 提交任务 ==================== + +const SUBMIT_PATH = '/services/aigc/video-generation/video-synthesis'; +const QUERY_PATH = '/tasks/'; + +/** + * 提交万相文生视频任务 + * @param {object} opts + * @param {string} opts.prompt - 视频描述提示词 + * @param {number} [opts.duration] - 时长 2-15秒，默认5 + * @param {string} [opts.resolution] - '720P' | '1080P'，默认1080P + * @param {string} [opts.ratio] - '16:9' 等，默认16:9 + * @param {string} [opts.negativePrompt] - 反向提示词 + * @param {boolean} [opts.promptExtend=true] - 是否智能改写prompt + * @param {boolean} [opts.watermark=false] - 是否加水印 + * @param {number} [opts.seed] - 随机种子 + * @returns {Promise<{taskId: string, preflight: object}>} + */ +async function submitT2VTask({ prompt, duration, resolution, ratio, negativePrompt, promptExtend, watermark, seed }) { + const preflight = preflightCheckT2V({ prompt, duration, resolution, ratio }); + + if (!preflight.valid) { + console.error('[Wan·预校验] ❌ 参数错误:'); + preflight.errors.forEach(e => console.error(` ✗ ${e}`)); + throw new Error(`预校验失败: ${preflight.errors.join('; ')}`); + } + + if (preflight.warnings.length > 0) { + console.warn('[Wan·预校验] ⚠️', preflight.warnings.join('; ')); + } + + const c = preflight.corrected; + const body = { + model: WAN_T2V_SPEC.model, + input: { + prompt: c.prompt, + }, + parameters: { + resolution: c.resolution, + ratio: c.ratio, + duration: c.duration, + prompt_extend: promptExtend !== false, + watermark: watermark === true, + }, + }; + + if (negativePrompt) body.input.negative_prompt = negativePrompt; + if (seed !== undefined) body.parameters.seed = seed; + + console.log(`[Wan·T2V] 提交: "${c.prompt.substring(0, 60)}..." ${c.duration}s ${c.resolution} ${c.ratio}`); + + const url = `${BASE_URL}${SUBMIT_PATH}`; + const data = await httpPost(url, body, API_KEY); + + const taskId = data.output?.task_id; + if (!taskId) { + throw new Error(`万相未返回task_id: ${JSON.stringify(data).substring(0, 300)}`); + } + + console.log(`[Wan·T2V] 任务ID: ${taskId} 状态: ${data.output?.task_status}`); + return { taskId, preflight }; +} + +/** + * 提交万相图生视频任务 + * @param {object} opts + * @param {string} [opts.prompt] - 辅助文本描述 + * @param {Array} opts.media - 媒体素材 [{ type: 'first_frame', url: '...' }, ...] + * type可选: first_frame, last_frame, driving_audio, first_clip + * url支持: 公网URL / oss://临时URL / data:image/png;base64,... + * @param {number} [opts.duration] - 时长 2-15秒 + * @param {string} [opts.resolution] - '720P' | '1080P' + * @param {string} [opts.negativePrompt] - 反向提示词 + * @param {boolean} [opts.promptExtend=true] - 智能改写 + * @param {boolean} [opts.watermark=false] - 加水印 + * @param {number} [opts.seed] - 随机种子 + * @returns {Promise<{taskId: string, preflight: object}>} + */ +async function submitI2VTask({ prompt, media, duration, resolution, negativePrompt, promptExtend, watermark, seed }) { + // 支持本地图片路径自动转base64 + const processedMedia = media.map(m => { + if (m.url && fs.existsSync(m.url)) { + // 本地文件 → 转base64 + const imgBuffer = fs.readFileSync(m.url); + const ext = path.extname(m.url).toLowerCase(); + const mimeMap = { '.png': 'image/png', '.jpg': 'image/jpeg', '.jpeg': 'image/jpeg', '.webp': 'image/webp', '.bmp': 'image/bmp' }; + const mime = mimeMap[ext] || 'image/png'; + const b64 = imgBuffer.toString('base64'); + console.log(`[Wan·I2V] 本地素材已转base64: ${path.basename(m.url)} (${(imgBuffer.length/1024).toFixed(0)}KB)`); + return { type: m.type, url: `data:${mime};base64,${b64}` }; + } + return m; + }); + + const preflight = preflightCheckI2V({ prompt, media: processedMedia, duration, resolution }); + + if (!preflight.valid) { + console.error('[Wan·预校验] ❌ 参数错误:'); + preflight.errors.forEach(e => console.error(` ✗ ${e}`)); + throw new Error(`预校验失败: ${preflight.errors.join('; ')}`); + } + + if (preflight.warnings.length > 0) { + console.warn('[Wan·预校验] ⚠️', preflight.warnings.join('; ')); + } + + const c = preflight.corrected; + const body = { + model: WAN_I2V_SPEC.model, + input: { + prompt: c.prompt, + media: c.media, + }, + parameters: { + resolution: c.resolution, + duration: c.duration, + prompt_extend: promptExtend !== false, + watermark: watermark === true, + }, + }; + + if (negativePrompt) body.input.negative_prompt = negativePrompt; + if (seed !== undefined) body.parameters.seed = seed; + + const mediaTypes = c.media.map(m => m.type).join('+'); + console.log(`[Wan·I2V] 提交: ${mediaTypes} + "${c.prompt.substring(0, 40)}..." ${c.duration}s ${c.resolution}`); + + const url = `${BASE_URL}${SUBMIT_PATH}`; + const data = await httpPost(url, body, API_KEY); + + const taskId = data.output?.task_id; + if (!taskId) { + throw new Error(`万相未返回task_id: ${JSON.stringify(data).substring(0, 300)}`); + } + + console.log(`[Wan·I2V] 任务ID: ${taskId} 状态: ${data.output?.task_status}`); + return { taskId, preflight }; +} + +// ==================== 查询任务 ==================== + +/** + * 查询万相任务状态 + * @param {string} taskId + * @returns {Promise<{status: 'generating'|'completed'|'failed', videoUrl?: string, videoMeta?: object, rawResponse?: object, error?: string}>} + */ +async function queryWanTask(taskId) { + const url = `${BASE_URL}${QUERY_PATH}${taskId}`; + const data = await httpGet(url, API_KEY); + + const taskStatus = (data.output?.task_status || '').toUpperCase(); + + if (taskStatus === 'SUCCEEDED') { + const videoUrl = data.output?.video_url; + if (!videoUrl) { + return { status: 'failed', error: '任务成功但未返回视频URL', rawResponse: data }; + } + + const videoMeta = {}; + if (data.usage) { + if (data.usage.duration !== undefined) videoMeta.duration = data.usage.duration; + if (data.usage.output_video_duration !== undefined) videoMeta.outputDuration = data.usage.output_video_duration; + if (data.usage.SR !== undefined) videoMeta.resolutionTier = data.usage.SR; + if (data.usage.ratio !== undefined) videoMeta.ratio = data.usage.ratio; + if (data.usage.video_count !== undefined) videoMeta.videoCount = data.usage.video_count; + } + if (data.output?.orig_prompt) videoMeta.origPrompt = data.output.orig_prompt; + + return { status: 'completed', videoUrl, videoMeta, rawResponse: data }; + } + + if (taskStatus === 'FAILED') { + const errMsg = data.output?.message || data.message || '生成失败'; + const errCode = data.output?.code || data.code || ''; + return { status: 'failed', error: `${errCode}: ${errMsg}`, rawResponse: data }; + } + + if (taskStatus === 'CANCELED') { + return { status: 'failed', error: '任务被取消', rawResponse: data }; + } + + if (taskStatus === 'UNKNOWN') { + return { status: 'failed', error: 'task_id不存在或已过期(24h)', rawResponse: data }; + } + + // PENDING / RUNNING + return { status: 'generating', rawResponse: data }; +} + +// ==================== 生成视频（完整流程）==================== + +/** + * 万相文生视频 — 提交 + 轮询 + 下载 + * @param {object} opts + * @param {string} opts.prompt - 视频提示词 + * @param {number} [opts.duration=5] - 时长 2-15秒 + * @param {string} [opts.resolution='1080P'] - 分辨率 + * @param {string} [opts.ratio='16:9'] - 宽高比 + * @param {string} [opts.negativePrompt] - 反向提示词 + * @param {string} [opts.outputPath] - 输出路径 + * @param {string} [opts.shotId] - 镜编号 + * @param {string} [opts.projectKey] - 项目标识 + * @returns {Promise<{videoPath: string, taskId: string, videoMeta: object, preflight: object}>} + */ +async function generateWanVideo(opts) { + if (!API_KEY) { + throw new Error('未配置 ALIYUN_BAILIAN_API_KEY。请在 video-ai-system/.env 中设置。'); + } + + const { taskId, preflight } = await submitT2VTask(opts); + + // 轮询 + for (let i = 1; i <= MAX_POLL_ATTEMPTS; i++) { + await new Promise(r => setTimeout(r, POLL_INTERVAL_MS)); + const result = await queryWanTask(taskId); + + if (result.status === 'completed') { + // 解析输出路径 + let finalPath; + if (opts.outputPath) { + finalPath = opts.outputPath; + } else if (opts.shotId && opts.projectKey) { + const dir = path.join(VIDEO_OUTPUT_ROOT, opts.projectKey); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + finalPath = path.join(dir, `${opts.shotId}-wan.mp4`); + } else { + finalPath = path.join(VIDEO_OUTPUT_ROOT, `wan-${taskId}.mp4`); + } + + console.log(`[Wan] 生成完成！下载到: ${finalPath}`); + await downloadFile(result.videoUrl, finalPath); + console.log(`[Wan] ✅ 视频已保存: ${finalPath}`); + + if (result.videoMeta && Object.keys(result.videoMeta).length > 0) { + console.log(`[Wan] 元数据:`, JSON.stringify(result.videoMeta)); + } + + return { videoPath: finalPath, taskId, videoMeta: result.videoMeta || {}, preflight }; + } + + if (result.status === 'failed') { + throw new Error(`万相生成失败: ${result.error}`); + } + + if (i % 5 === 0) console.log(`[Wan] 生成中... (${i}/${MAX_POLL_ATTEMPTS}, ${i * POLL_INTERVAL_MS / 1000}s)`); + } + + throw new Error(`万相轮询超时(${MAX_POLL_ATTEMPTS * POLL_INTERVAL_MS / 1000}s)`); +} + +/** + * 万相图生视频 — 提交 + 轮询 + 下载 + * @param {object} opts - 同 submitI2VTask 参数 + outputPath/shotId/projectKey + * @returns {Promise<{videoPath: string, taskId: string, videoMeta: object, preflight: object}>} + */ +async function generateWanImageToVideo(opts) { + if (!API_KEY) { + throw new Error('未配置 ALIYUN_BAILIAN_API_KEY。请在 video-ai-system/.env 中设置。'); + } + + const { taskId, preflight } = await submitI2VTask(opts); + + // 轮询 + for (let i = 1; i <= MAX_POLL_ATTEMPTS; i++) { + await new Promise(r => setTimeout(r, POLL_INTERVAL_MS)); + const result = await queryWanTask(taskId); + + if (result.status === 'completed') { + let finalPath; + if (opts.outputPath) { + finalPath = opts.outputPath; + } else if (opts.shotId && opts.projectKey) { + const dir = path.join(VIDEO_OUTPUT_ROOT, opts.projectKey); + if (!fs.existsSync(dir)) fs.mkdirSync(dir, { recursive: true }); + finalPath = path.join(dir, `${opts.shotId}-wan-i2v.mp4`); + } else { + finalPath = path.join(VIDEO_OUTPUT_ROOT, `wan-i2v-${taskId}.mp4`); + } + + console.log(`[Wan·I2V] 生成完成！下载到: ${finalPath}`); + await downloadFile(result.videoUrl, finalPath); + console.log(`[Wan·I2V] ✅ 视频已保存: ${finalPath}`); + + return { videoPath: finalPath, taskId, videoMeta: result.videoMeta || {}, preflight }; + } + + if (result.status === 'failed') { + throw new Error(`万相图生视频失败: ${result.error}`); + } + + if (i % 5 === 0) console.log(`[Wan·I2V] 生成中... (${i}/${MAX_POLL_ATTEMPTS})`); + } + + throw new Error(`万相I2V轮询超时(${MAX_POLL_ATTEMPTS * POLL_INTERVAL_MS / 1000}s)`); +} + +// ==================== 导出 ==================== + +module.exports = { + submitT2VTask, + submitI2VTask, + queryWanTask, + generateWanVideo, + generateWanImageToVideo, + preflightCheckT2V, + preflightCheckI2V, + downloadFile, + WAN_T2V_SPEC, + WAN_I2V_SPEC, + BASE_URL, + API_KEY, // 用于检测是否已配置 +}; diff --git a/engines/yunwu-api-adapter.js b/engines/yunwu-api-adapter.js new file mode 100644 index 0000000..fd1ad1e --- /dev/null +++ b/engines/yunwu-api-adapter.js @@ -0,0 +1,164 @@ +/** + * 云雾AI API 适配器 · yunwu.ai + * D136+ · 铸渊 ICE-GL-ZY001 · 2026-06-21 + * + * Base URL: https://yunwu.ai/v1 + * 模型: kling-video, kling-omni-video, kling-video-extend, kling-motion-control + * 兼容 OpenAI 格式 + * + * 密钥: 从 video-ai-system/.env 或环境变量 YUNWU_API_KEY 读取 + */ +const fs = require('fs'); +const path = require('path'); +const https = require('https'); + +const envPath = path.resolve(__dirname, '../.env'); +if (fs.existsSync(envPath)) { + const envContent = fs.readFileSync(envPath, 'utf-8'); + envContent.split('\n').forEach(line => { + const trimmed = line.trim(); + if (trimmed && !trimmed.startsWith('#')) { + const [key, ...vals] = trimmed.split('='); + if (key && vals.length) process.env[key.trim()] = vals.join('=').trim(); + } + }); +} + +const API_KEY = process.env.YUNWU_API_KEY || ''; +const BASE_URL = 'yunwu.ai'; +const BASE_PATH = '/v1'; + +const JZAO_SHOTS = '/Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/视频/zai-fu-fei-xiu-xian/ep01'; +const LOCAL_SHOTS = path.resolve(__dirname, '../outputs/shots'); +const OUT_DIR = fs.existsSync(JZAO_SHOTS) ? JZAO_SHOTS : LOCAL_SHOTS; + +function apiRequest(method, path_, body = null) { + return new Promise((resolve, reject) => { + const options = { + hostname: BASE_URL, + path: path_, + method, + headers: { + 'Authorization': `Bearer ${API_KEY}`, + 'Content-Type': 'application/json', + }, + }; + const req = https.request(options, (res) => { + let data = ''; + res.on('data', chunk => data += chunk); + res.on('end', () => { + try { resolve({ status: res.statusCode, ...JSON.parse(data) }); } + catch (e) { resolve({ status: res.statusCode, raw: data }); } + }); + }); + req.on('error', reject); + req.setTimeout(300000, () => { req.destroy(); reject(new Error('timeout')); }); + if (body) req.write(JSON.stringify(body)); + req.end(); + }); +} + +function downloadFile(url, dest) { + return new Promise((resolve, reject) => { + const file = fs.createWriteStream(dest); + const proto = url.startsWith('https') ? https : require('http'); + proto.get(url, (res) => { + if (res.statusCode >= 300 && res.statusCode < 400) { + return downloadFile(res.headers.location, dest).then(resolve).catch(reject); + } + res.pipe(file); + file.on('finish', () => { file.close(); resolve(dest); }); + }).on('error', reject); + }); +} + +/** + * 云雾AI视频生成 - 两层策略: + * 1. chat/completions 提交 → 检查响应中是否有视频数据 + * 2. 如果chat返回空 → 尝试 video/generations 端点 + */ +async function generateVideo({ prompt, duration = 5, outputPath, model = 'kling-video' }) { + if (!API_KEY) { + throw new Error('YUNWU_API_KEY 未设置。请写入 video-ai-system/.env 或环境变量。'); + } + + console.log('[yunwu.ai] 策略1: chat/completions 提交...'); + + // ═══ 策略1: chat/completions ═══ + try { + const chatRes = await apiRequest('POST', `${BASE_PATH}/chat/completions`, { + model, + messages: [{ role: 'user', content: prompt }], + max_tokens: 4096, + }); + + // 检查响应中是否有视频URL或错误信息 + if (chatRes.error) { + console.log(`[yunwu.ai] chat返回错误: ${JSON.stringify(chatRes.error).substring(0,200)}`); + } else if (chatRes.choices && chatRes.choices[0]?.message?.content) { + const content = chatRes.choices[0].message.content; + // 检查是否包含视频URL + const urlMatch = content.match(/https?:\/\/[^\s]+\.mp4[^\s]*/); + if (urlMatch) { + const videoUrl = urlMatch[0]; + const out = outputPath || path.join(OUT_DIR, `yunwu-${Date.now()}.mp4`); + fs.mkdirSync(path.dirname(out), { recursive: true }); + console.log(`[yunwu.ai] 下载视频...`); + await downloadFile(videoUrl, out); + console.log(`[yunwu.ai] ✅ ${path.basename(out)}`); + return { videoPath: out, taskId: chatRes.id }; + } + } else if (chatRes.choices === null && chatRes.usage?.prompt_tokens > 0) { + console.log(`[yunwu.ai] chat接收了提示词但未生成视频(上游Kling返回空)`); + } + } catch (e) { + console.log(`[yunwu.ai] chat异常: ${e.message}`); + } + + // ═══ 策略2: video/generations 端点 ═══ + console.log('[yunwu.ai] 策略2: video/generations 端点...'); + + try { + const videoRes = await apiRequest('POST', `${BASE_PATH}/video/generations`, { + model, + prompt, + duration, + aspect_ratio: '16:9', + }); + + if (videoRes.code === 500 || videoRes.error) { + throw new Error(videoRes.message || videoRes.error?.message || 'video endpoint failed'); + } + + if (videoRes.data?.task_id) { + const taskId = videoRes.data.task_id; + console.log(`[yunwu.ai] 任务: ${taskId}`); + + for (let i = 0; i < 180; i++) { + await new Promise(r => setTimeout(r, 2000)); + const status = await apiRequest('GET', `${BASE_PATH}/video/generations/${taskId}`); + if (status.data?.task_status === 'succeed' || status.data?.task_status === 'completed') { + const videoUrl = status.data.video_url || status.data.task_result?.videos?.[0]?.url; + if (videoUrl) { + const out = outputPath || path.join(OUT_DIR, `yunwu-${taskId}.mp4`); + fs.mkdirSync(path.dirname(out), { recursive: true }); + await downloadFile(videoUrl, out); + console.log(`[yunwu.ai] ✅ ${path.basename(out)}`); + return { videoPath: out, taskId }; + } + throw new Error('任务完成但无视频URL'); + } + if (status.data?.task_status === 'failed') { + throw new Error(`任务失败: ${JSON.stringify(status.data)}`); + } + } + throw new Error('轮询超时'); + } + } catch (e) { + console.log(`[yunwu.ai] video端点异常: ${e.message}`); + } + + throw new Error('yunwu.ai: 所有策略均失败。可能需要检查模型通道配置。'); +} + +module.exports = { generateVideo }; diff --git a/engines/zhuyuan-eye.js b/engines/zhuyuan-eye.js new file mode 100644 index 0000000..b0020bc --- /dev/null +++ b/engines/zhuyuan-eye.js @@ -0,0 +1,114 @@ +#!/usr/bin/env node +/** + * 铸渊之眼 · 视频帧分析引擎 + * D136+ · ICE-GL-ZY001 + * + * 用途: 视频生成后 → 自动拆帧 → 铸渊逐帧分析 → 对比导演编码 → 输出差异报告 + * 不是"AI做不到所以不行"——是"铸渊能看·能比·能定位·能修复" + */ + +const { execSync } = require('child_process'); +const fs = require('fs'); +const path = require('path'); + +function usage() { + console.log('铸渊之眼 · 视频帧分析引擎'); + console.log('用法: node zhuyuan-eye.js