diff --git a/bridge/chat-to-agent/pending/CAB-20260623-001.json b/bridge/chat-to-agent/pending/CAB-20260623-001.json index 1bd5809..8871532 100644 --- a/bridge/chat-to-agent/pending/CAB-20260623-001.json +++ b/bridge/chat-to-agent/pending/CAB-20260623-001.json @@ -11,12 +11,12 @@ "confirmation": false }, "architecture": { - "summary": "视频AI系统 Preview-002 多模型路由与成片质量增强工单：接入阿里万相/腾讯混元/可选MiniMax Hailuo，补齐模型适配器、路由器、故事上下文、资产锁定、稳定文字贴合、配音/BGM与烟测工具。", + "summary": "视频AI系统 Preview-002 万相单新增模型与成片质量增强工单：只新增阿里万相 API，继续复用火山/可灵与本地剪辑工具，补齐万相适配器、路由器、故事上下文、资产锁定、稳定文字贴合、配音/BGM与烟测工具。", "decisions": [ - "现有火山引擎/Seedance 与可灵/Kling 继续保留，不重复购买；本工单只补充新增供应商与统一路由能力。", - "必接模型一：阿里云百炼/通义万相 Wan。优先使用 wan2.7 参考生视频能力，承接角色/道具/场景参考、首帧控制、短视频续写与故事板参考。", - "必接模型二：腾讯混元生视频。优先接图生视频/文生视频/视频编辑/视频配音效等腾讯云官方接口，便于腾讯AI人格体后续维护。", - "可选模型三：MiniMax/Hailuo。预算允许时接入，作为强镜头运动、导演式镜头指令和动作表现的候选模型；不作为 Preview-002 的硬依赖。", + "现有火山引擎/Seedance 与可灵/Kling 继续保留，不重复购买；本工单只新增阿里云百炼/通义万相 Wan。", + "必接模型：阿里云百炼/通义万相 Wan。优先使用 wan2.7 参考生视频能力，承接角色/道具/场景参考、首帧控制、短视频续写与故事板参考。", + "腾讯混元生视频与 MiniMax/Hailuo 因当前预算压力，本阶段不接入、不开发适配器、不配置密钥，只保留为远期观察项。", + "剪辑层不买额外付费服务；优先使用本地 FFmpeg/FFprobe，新增 OpenCV/平面追踪能力处理文字贴合与局部画面稳定。", "所有付费调用必须默认 dry-run，只有冰朔明确授权后才允许真实提交生成任务；严禁批量烧额度。", "视频模型不负责猜完整故事；每次生成前必须由 story-context-builder 注入 story_so_far、current_episode_goal、shot_intent、locked_assets、dialogue_lines、negative_rules。", "牌匾、广告牌、招牌、名单等可读文字默认走本地稳定贴合/后期合成，不再直接依赖视频模型生成可读中文文字。", @@ -29,8 +29,6 @@ "video-ai-system/config/provider-registry.json", "video-ai-system/config/shot-routing-rules.json", "video-ai-system/engines/aliyun-wan-adapter.js", - "video-ai-system/engines/hunyuan-video-adapter.js", - "video-ai-system/engines/minimax-hailuo-adapter.js", "video-ai-system/engines/model-router.js", "video-ai-system/tools/run-provider-smoke.js", "video-ai-system/tools/story-context-builder.js", @@ -53,24 +51,23 @@ ] }, "development_plan": { - "title": "Preview-002 多模型接入与成片质量增强", - "description": "把用户对 Preview-001 的反馈转成可执行系统能力：稳定角色/牌匾/招牌、人物真正说台词、BGM与音效分轨、镜头转场更像短剧、多模型按镜头路由并控制成本。", + "title": "Preview-002 万相接入与成片质量增强", + "description": "把用户对 Preview-001 的反馈转成可执行系统能力：只新增万相 API，稳定角色/牌匾/招牌、人物真正说台词、BGM与音效分轨、镜头转场更像短剧，并用本地剪辑工具控制成本。", "steps": [ - "Step 1: 官方账号/API准备。冰朔购买或开通：阿里云百炼/通义万相、腾讯混元生视频；MiniMax/Hailuo 先作为可选项，预算允许再买。确认地域、限频、计费、异步任务查询方式。", + "Step 1: 官方账号/API准备。冰朔只购买或开通：阿里云百炼/通义万相。腾讯混元生视频与 MiniMax/Hailuo 本阶段不购买、不开发。确认万相地域、限频、计费、异步任务查询方式。", "Step 2: 密钥配置。补齐 .env.example 变量说明；真实密钥只写入本地 .env 或服务器密钥系统，绝不能提交仓库。", - "Step 3: Provider Registry。创建 provider-registry.json，记录 provider_id、能力标签、支持输入、最大时长、分辨率、地域、是否异步、成本等级、推荐镜头类型、官方文档链接。", + "Step 3: Provider Registry。创建 provider-registry.json，记录 seedance、kling、aliyun-wan 三类 provider 的能力标签、支持输入、最大时长、分辨率、地域、是否异步、成本等级、推荐镜头类型、官方文档链接。", "Step 4: 新增阿里万相适配器。实现创建任务、轮询任务、下载结果、错误归一、dry-run payload 输出；至少覆盖参考生视频/文生视频/图生视频或首帧能力中当前 Preview-002 必需的接口。", - "Step 5: 新增腾讯混元适配器。实现腾讯云签名/SDK调用、提交任务、查询任务、下载结果、错误归一、dry-run payload 输出；优先覆盖混元生视频、图生视频、视频配音效、视频编辑相关能力。", - "Step 6: 可选新增 MiniMax/Hailuo 适配器。实现文本生成视频、图生视频、首尾帧/主体参考能力的 dry-run 与真实调用开关；未购买时必须优雅跳过。", - "Step 7: 模型路由器。实现 model-router.js，按 shot_id、shot_type、locked_assets、dialogue、motion_level、text_in_frame、cost_budget 选择候选供应商，并输出为什么选它。", - "Step 8: 故事上下文构造。实现 story-context-builder.js，把前情压缩、当前集目标、当前镜头意图、角色/道具锁定、台词、禁忌项组合成中英双语提示词块。", - "Step 9: 资产锁定。实现 asset-locker.js，生成/维护角色、牌匾、场景、服饰等 reference asset 清单；支持从 Preview-001/S02 截图裁出天道宗牌匾作为锁定参考。", - "Step 10: 稳定文字贴合。实现 planar-text-overlay.js，用本地后期方式把招牌/广告牌文字稳定贴到平面上，避免模型生成的中文漂移、模糊、摇晃。", - "Step 11: 音频分轨。实现 audio-track-builder.js，把 narration、dialogue、bgm、sfx 分轨；对白只能来自 script dialogue 字段，旁白只能来自 narration 字段。", - "Step 12: 烟测工具。实现 run-provider-smoke.js，支持 --provider、--dry-run、--paid-once、--shot-id；默认 dry-run，输出不含密钥的请求摘要到 outputs/provider-smoke/。", - "Step 13: 系统审计。扩展 audit-system.js，检查新增适配器、配置文件、环境变量占位、密钥泄露、dry-run 输出、路由规则完整性。", - "Step 14: Preview-002 镜头路由建议落表。至少给 EP01-15S-V2 的 S01/S02/S03/S04 写出路由建议：S01 大场景开场、S02 牌匾静态锁定、S03 苏白人物对白、S04 招生广告牌+围观者反应。", - "Step 15: 提交并推送。通过审计与 dry-run 后提交到仓库；真实付费生成不在本工单默认范围内，需冰朔另行确认。" + "Step 5: 模型路由器。实现 model-router.js，按 shot_id、shot_type、locked_assets、dialogue、motion_level、text_in_frame、cost_budget 在 seedance/kling/aliyun-wan 中选择候选供应商，并输出为什么选它。", + "Step 6: 故事上下文构造。实现 story-context-builder.js，把前情压缩、当前集目标、当前镜头意图、角色/道具锁定、台词、禁忌项组合成中英双语提示词块。", + "Step 7: 资产锁定。实现 asset-locker.js，生成/维护角色、牌匾、场景、服饰等 reference asset 清单；支持从 Preview-001/S02 截图裁出天道宗牌匾作为锁定参考。", + "Step 8: 稳定文字贴合。实现 planar-text-overlay.js，用本地 FFmpeg + OpenCV/平面追踪方式把招牌/广告牌文字稳定贴到平面上，避免模型生成的中文漂移、模糊、摇晃。", + "Step 9: 音频分轨。实现 audio-track-builder.js，把 narration、dialogue、bgm、sfx 分轨；对白只能来自 script dialogue 字段，旁白只能来自 narration 字段。", + "Step 10: 剪辑增强。扩展 video-editor.js 或新增 timeline-editor.js，支持镜头节拍、J-cut/L-cut、环境声底噪、BGM ducking、转场类型选择和镜头间节奏说明，避免只做硬拼素材。", + "Step 11: 烟测工具。实现 run-provider-smoke.js，支持 --provider aliyun-wan、--dry-run、--paid-once、--shot-id；默认 dry-run，输出不含密钥的请求摘要到 outputs/provider-smoke/。", + "Step 12: 系统审计。扩展 audit-system.js，检查新增适配器、配置文件、环境变量占位、密钥泄露、dry-run 输出、路由规则完整性。", + "Step 13: Preview-002 镜头路由建议落表。至少给 EP01-15S-V2 的 S01/S02/S03/S04 写出路由建议：S01 大场景开场、S02 牌匾静态锁定、S03 苏白人物对白、S04 招生广告牌+围观者反应。", + "Step 14: 提交并推送。通过审计与 dry-run 后提交到仓库；真实付费生成不在本工单默认范围内，需冰朔另行确认。" ], "priority": "critical", "estimated_scope": "large" @@ -102,7 +99,7 @@ ], "required_tests": true, "deploy_after": false, - "max_files_changed": 40, + "max_files_changed": 30, "security_rules": [ "严禁提交任何真实 API Key、SecretId、SecretKey、Bearer Token、临时下载签名 URL。", "所有真实付费调用必须由冰朔单独确认；默认只允许 dry-run。", @@ -113,9 +110,8 @@ "acceptance_criteria": [ "node video-ai-system/tools/audit-system.js 通过，且无密钥泄露告警。", "node video-ai-system/tools/run-provider-smoke.js --provider aliyun-wan --dry-run 能输出合法 payload 摘要。", - "node video-ai-system/tools/run-provider-smoke.js --provider hunyuan-video --dry-run 能输出合法 payload 摘要。", - "MiniMax/Hailuo 未购买时 dry-run 可执行、真实调用自动跳过；已购买时 --provider minimax-hailuo --dry-run 可输出合法 payload 摘要。", - "video-ai-system/config/provider-registry.json 至少包含 seedance、kling、aliyun-wan、hunyuan-video，MiniMax 可标记 optional。", + "不得新增 hunyuan-video 或 minimax-hailuo 真实适配器；这两个平台本阶段只允许在文档中标注为 deferred。", + "video-ai-system/config/provider-registry.json 至少包含 seedance、kling、aliyun-wan，hunyuan-video 与 minimax-hailuo 如出现只能标记 deferred 且 disabled。", "video-ai-system/config/shot-routing-rules.json 至少覆盖 S01/S02/S03/S04 的 Preview-002 路由建议。", "story-context-builder 能生成含 story_so_far 与 current_shot 的中英双语上下文，不把剧情交给模型猜。", "audio-track-builder 能区分 narration/dialogue/bgm/sfx，不再把剧本全文当旁白朗读。", @@ -133,22 +129,22 @@ "https://help.aliyun.com/zh/model-studio/text-to-video-api-reference", "https://help.aliyun.com/zh/model-studio/legacy-image-to-video-api-reference/" ] - }, + } + ], + "deferred": [ { "provider": "腾讯云 / 腾讯混元生视频", - "priority": "P0", - "why": "腾讯体系内可维护性最高，官方接口覆盖混元生视频、图生视频、视频编辑、视频配音效、特效等，适合交给腾讯AI人格体长期维护。", + "priority": "deferred", + "why": "当前价格超出本阶段预算，暂不购买、暂不开发；后续等预算或官方价格变化再评估。", "official_docs": [ "https://cloud.tencent.com/document/product/1616/107786", "https://cloud.tencent.com/document/api/1616/107795" ] - } - ], - "optional_buy": [ + }, { "provider": "MiniMax / Hailuo", - "priority": "P2", - "why": "适合作为动作表现、镜头运动和导演式指令的候选增强；预算紧张时可暂缓。", + "priority": "deferred", + "why": "可作为动作表现、镜头运动和导演式指令的候选增强，但本阶段不购买、暂不开发。", "official_docs": [ "https://platform.minimax.io/docs/api-reference/video-generation-t2v" ] @@ -163,7 +159,7 @@ "chat_summary": "Preview-001 已生成 15 秒样片，但用户反馈：天道宗牌匾颜色/形状/悬挂方式前后不一致；招生广告牌文字像后期模糊贴字且摇晃；配音把剧本全文念出来而不是人物说台词；缺少 BGM；转场像硬拼素材，不像短剧讲故事；后续需要多模型组合、成本控制和前情上下文注入。视频AI系统是光湖语言世界对外第一阶段成果证明，不能只做演示玩具，必须走向可拿得出手的成片能力。", "key_decisions": [ "把视频生成拆成：故事上下文、镜头路由、资产锁定、视频生成、文字贴合、音频分轨、剪辑转场、审计验收。", - "多模型组合不是堆模型，而是让不同模型承担最擅长的镜头职责。", + "本阶段从多模型扩张收敛为万相单新增模型：火山/可灵/万相三路足够做 Preview-002，避免成本失控。", "中文可读文字不再交给视频模型自由生成，固定招牌/广告牌走本地后期稳定合成。", "剧本字段必须结构化：旁白、对白、动作、镜头说明分开进入不同生产链路。", "Codex 保留最后总装、审计、成片质量验收；腾讯AI人格体负责本工单的 API 接入与模块开发。" diff --git a/video-ai-system/.env.example b/video-ai-system/.env.example index 731824c..b3e6741 100644 --- a/video-ai-system/.env.example +++ b/video-ai-system/.env.example @@ -13,19 +13,11 @@ JIMENG_MODEL=doubao-seedance-2-0-260128 # === 云雾AI备用通道（可选）=== YUNWU_API_KEY= -# === 阿里百炼 / 万相（待接入）=== +# === 阿里百炼 / 万相（Preview-002 待接入）=== ALIYUN_BAILIAN_API_KEY= ALIYUN_BAILIAN_WORKSPACE_ID= ALIYUN_BAILIAN_BASE_URL= -# === 腾讯混元生视频（待接入）=== -HUNYUAN_VIDEO_API_KEY= -HUNYUAN_VIDEO_BASE_URL= - -# === MiniMax / Hailuo（待评估）=== -MINIMAX_API_KEY= -MINIMAX_BASE_URL= - # === 轮询参数 === POLL_INTERVAL_MS=5000 MAX_POLL_ATTEMPTS=120 diff --git a/video-ai-system/MODEL-ROUTER.hdlp b/video-ai-system/MODEL-ROUTER.hdlp index 5bf37e6..c58a2bc 100644 --- a/video-ai-system/MODEL-ROUTER.hdlp +++ b/video-ai-system/MODEL-ROUTER.hdlp @@ -23,7 +23,16 @@ preview-001 暴露出一个问题: ``` 人类创作者会在火山、可灵、阿里、腾讯、其他国产视频模型之间切换。 -这件事人手动做很累，但铸渊可以做成模型路由。 +但当前预算不适合无限扩模型。本阶段收敛为: + +``` +已接入: 火山/Seedance + 可灵/Kling +新增: 阿里百炼/万相 Wan +暂缓: 腾讯混元生视频 + MiniMax/Hailuo +剪辑: 本地 FFmpeg + OpenCV/平面追踪 + 音频分轨 +``` + +这件事人手动做很累，但铸渊可以做成可控、可审计、可省钱的模型路由。 --- @@ -37,17 +46,22 @@ preview-001 暴露出一个问题: --- -## 待评估接入 +## 本阶段新增接入 > 只记录官方能力方向。真实接入前必须再查官方文档、价格和密钥条件。 | 模型/平台 | 官方能力线索 | 适合评估的任务 | |-----------|--------------|----------------| | 阿里百炼/万相 Wan | 官方文档显示万相2.7文生视频、图生视频、参考生视频；参考生视频支持图片/视频/音频多模态输入，适合角色/物体保持一致；图生视频新版本支持首帧、首尾帧、视频续写 | S01多镜头开场、S04广告牌/群嘲、视频续写、角色/道具参考一致性 | -| 腾讯混元生视频 | 官方产品页显示支持图生视频、视频处理、视频特效；API概览包含生视频、混元生视频、视频特效、人像驱动、视频配音效等接口 | 图生视频备选、特效/动作驱动、配音效/视频处理能力评估 | -| MiniMax/Hailuo | 官方API文档显示支持文生视频，Hailuo 2.3/02/Director模型支持镜头运动命令；MiniMax官网说明Video-01支持文生/图生视频 | 动作自然度、镜头运动、人物表演备选 | | 开源/本地剪辑工具 | FFmpeg已用；后续评估 OpenCV 平面追踪、MoviePy、Remotion、Blender/Python、DaVinci Resolve脚本接口 | 广告牌贴图、转场、BGM/SFX、批量自动剪辑 | +## 暂缓接入 + +| 模型/平台 | 暂缓原因 | 保留用途 | +|-----------|----------|----------| +| 腾讯混元生视频 | 当前价格超出 Preview-002 预算，本阶段不购买、不配置密钥、不开发适配器 | 未来预算充足后再评估图生视频、视频处理、特效、配音效 | +| MiniMax/Hailuo | 当前不是必需能力，本阶段不购买、不配置密钥、不开发适配器 | 未来作为动作自然度、镜头运动、人物表演备选 | + 资料入口: ``` @@ -57,9 +71,9 @@ preview-001 暴露出一个问题: Kling Open Platform: https://kling.ai/document-api/apiReference/model/textToVideo Kling 3.0 Omni图生视频: https://kling.ai/document-api/api/video/3-0-omni MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generation-t2v -腾讯混元生视频产品: https://cloud.tencent.com/product/vclm -腾讯混元生视频API概览: https://cloud.tencent.com/document/api/1616/107795 -腾讯混元生视频简介: https://cloud.tencent.com/document/product/1616/107786 +腾讯混元生视频产品(暂缓): https://cloud.tencent.com/product/vclm +腾讯混元生视频API概览(暂缓): https://cloud.tencent.com/document/api/1616/107795 +腾讯混元生视频简介(暂缓): https://cloud.tencent.com/document/product/1616/107786 ``` --- @@ -92,15 +106,14 @@ MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generati ## 下一步工程 -1. 扩展 `.env.example`，预留: +1. 扩展 `.env.example`，只预留: - `ALIYUN_BAILIAN_API_KEY` - `ALIYUN_BAILIAN_WORKSPACE_ID` - - `HUNYUAN_VIDEO_API_KEY` - - `MINIMAX_API_KEY` + - `ALIYUN_BAILIAN_BASE_URL` 2. 新增 `engines/model-router.js`: - 输入: shot spec + required capability - - 输出: recommended provider + reason + cost risk + - 输出: recommended provider(seedance/kling/aliyun-wan) + reason + cost risk 3. 新增 provider adapter 时必须: - 先写 `.env.example` @@ -112,7 +125,8 @@ MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generati ## 锁定 -⊢ 多模型不是为了炫技，是为了把每个镜头交给最适合的能力。 +⊢ 多模型不是为了炫技，是为了把每个镜头交给最适合、也最省钱的能力。 +⊢ Preview-002 只新增万相；腾讯混元和 MiniMax 暂缓。 ⊢ 模型只负责生成素材，铸渊负责导演、资产、剪辑、质检和回写。 ⊢ 成本控制优先于连续抽卡。 ⊢ 任何新模型接入前必须先查官方文档与价格，不许闭门造车。 diff --git a/video-ai-system/outputs/system-audit-latest.json b/video-ai-system/outputs/system-audit-latest.json index b537f13..9fb8c44 100644 --- a/video-ai-system/outputs/system-audit-latest.json +++ b/video-ai-system/outputs/system-audit-latest.json @@ -1,5 +1,5 @@ { - "generatedAt": "2026-06-23T06:02:51.825Z", + "generatedAt": "2026-06-23T07:04:19.194Z", "activeLines": [ { "key": "3d", diff --git a/video-ai-system/outputs/system-audit-latest.md b/video-ai-system/outputs/system-audit-latest.md index 310a904..15fcaf8 100644 --- a/video-ai-system/outputs/system-audit-latest.md +++ b/video-ai-system/outputs/system-audit-latest.md @@ -1,6 +1,6 @@ # 视频AI系统 · 无成本体检报告 -生成时间: 2026-06-23T06:02:51.825Z +生成时间: 2026-06-23T07:04:19.194Z 当前active制作线: 3d(3D漫剧) 剧本MD: 存在