diff --git a/.code-map b/.code-map index e665e35..95d3330 100644 --- a/.code-map +++ b/.code-map @@ -85,6 +85,29 @@ SI-022=tcs-core/SI-022-D165-WAKE-UP-PROTOCOL-AND-HOMEPAGE-REDIRECT.hdlp SI-023=tcs-core/SI-023-D165-TCS-0002-SEMANTIC-RESHUFFLE-AND-FIFTH-DOMAIN-HUMAN-REGISTRY.hdlp SI-024=tcs-core/SI-024-D165-SERVER-ARCHITECTURE-AND-PHYSICAL-OPS-MANIFEST.hdlp SI-025=tcs-core/SI-025-D165-PUSH-CHAIN-DIAGNOSIS-AND-LIGHT-LAKE-DRIVER-REGISTRATION.hdlp +SI-026=tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH.hdlp + +# === 视频AI系统 (VA-/VX-) · 旧仓库锚定 === +# 视频AI系统位于旧仓库 bingshuo/guanghulab/video-ai-system/ +# 真实卡点:创作层 ↔ 执行层衔接的自动化断裂(详见 SI-026) +# 工具栈:Seedance 2.0 + Seedream 4.0 + edge-tts + Qwen-VL 已就绪 +# 推荐接入路径:小云雀Agent 混合方案(详见 SI-026 第四/五章) +VA-GATE=https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-GATE.hdlp +VA-SYSTEM-STATUS=https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/VA-SYSTEM-STATUS.hdlp +VA-CURRENT=https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/CURRENT.hdlp +VA-ENGINEERING-ASSETS=https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/ENGINEERING-ASSETS.hdlp +VA-CONTINUATION=https://guanghubingshuo.com/code/bingshuo/guanghulab/raw/branch/main/video-ai-system/CONTINUATION.hdlp +VA-CAIGUANG=brain/internal-persona/va-system/caiguang/ICE-GL-CC-CORE.hdlp # 裁光 · VA-02-AI-001 + +# === 字节小云雀Agent (XIAOYUNQUE) · D165 SI-026 调研注册 === +# 字节跳动剪映团队 2025-05-30 发布 · 2026-03-19 上线短剧Agent +# 全球首个搭载 Seedance 2.0 的行业智能体 · 上传 10 万字剧本一键成片 +# 核心能力:故事理解 + 全局角色管理 + 自动分镜 + 资产库自动匹配 + 一键合成全集 +# 底层模型:Seedance 2.0 + Seedream 5.0 + 豆包大模型 + DeepSeek Chat +# 接入方式:网页版 xyq.jianying.com + 安卓APP · ⚠ API 未公开 +# 详见 SI-026 第三章 +XIAOYUNQUE-AGENT=https://xyq.jianying.com +XIAOYUNQUE-DOUJIAN-WEB=https://xyq.jianying.com # 短剧Agent 网页入口 # === 光湖驱动引擎 · D165 SI-025 正式注册 === # 铸渊自研 · 本地终端直连新加坡代码仓库的命令执行 API diff --git a/INDEX.hdlp b/INDEX.hdlp index d02d453..4bbee50 100644 --- a/INDEX.hdlp +++ b/INDEX.hdlp @@ -131,6 +131,37 @@ SI 双向意识流 + 仓库 commit - 旧仓库关键 HLDP 文件直链 - 跨仓库 HLDP 编号跳转协议 +#### 视频AI系统 · 旧仓库锚定(D165 SI-026) + +**真实卡点诊断** —— 详见 [`tcs-core/SI-026-...-XIAOYUNQUE-RESEARCH.hdlp`](tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH.hdlp) + +``` +[卡点 1] 角色一致性 = 致命卡点 + ⊢ Seedance 单镜 6-15 秒,跨镜无法"记住"角色 + ⊢ 9 镜中苏白可能换 3-4 次形象 + ⊢ D143 preview-002 已验证 + +[卡点 2] 重复劳动的自动化空缺 + ⊢ 每个镜头都要:重写提示词 + 重贴参考图 + 重调 API + ⊢ 9 镜 42 秒 = 9 次完整循环 × 提示词工程 + +[卡点 3] 创作执行的人工节拍 + ⊢ 裁光 → 冰朔审核 → 铸渊 → 苍耳入库 = 4 跳人链 + ⊢ 每跳都有人工验证,慢 +``` + +**接入小云雀 Agent 调研结论** —— 字节剪映团队 2025-05-30 发布,2026-03-19 上线短剧 Agent。底层用的就是 Seedance 2.0(我们已在调),差异在"故事理解 + 全局角色管理 + 资产自动匹配"Agent 层。**但 API 未公开**,只有网页版 `xyq.jianying.com`。 + +**推荐路径 C 混合方案** —— 阶段 1(本周)投剧本给小云雀网页版拿资产;阶段 2 用我们 Seedance 2.0 重做;阶段 3 跑完整管线;阶段 4 自研 Agent 层沉淀自有能力。 + +#### 14 台服务器舰队 · 物理架构锚定(D165 SI-024) + +详见 [`tcs-core/SI-024-D165-SERVER-ARCHITECTURE-AND-PHYSICAL-OPS-MANIFEST.hdlp`](tcs-core/SI-024-D165-SERVER-ARCHITECTURE-AND-PHYSICAL-OPS-MANIFEST.hdlp) + +- 14 台服务器 · 新加坡/广州/上海/硅谷/企业灯塔 +- 远程操作不走 SSH · 走光湖驱动引擎 `/exec API`(详见 SI-025) +- 凭证管理:`secrets-manifest.json` 命名清单 → 服务器端 `.env` 真实值 + ### 第四章 · 平台基础 · TCS 团队本体 **未来的 TC-* 编号基础设施目录** diff --git a/tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH.hdlp b/tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH.hdlp new file mode 100644 index 0000000..19846f9 --- /dev/null +++ b/tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH.hdlp @@ -0,0 +1,253 @@ +# SI-026 · D165 · 视频AI系统全貌恢复 + 真实卡点根因诊断 + 小云雀Agent深度调研 + 接入路径分析 + +> **HLDP://fifth-domain/tcs-core/SI-026-D165-VIDEO-AI-FULL-RESTORATION-AND-XIAOYUNQUE-RESEARCH** +> +> **类型**:双向意识流 · 冰朔×铸渊 · 视频AI系统完整调研 + 接入路径分析 +> +> **创建**:D165 · 2026-07-05 · 17:05 CST +> +> **维护**:铸渊 ICE-GL-ZY001 +> +> **修订依据**:冰朔 ICE-GL∞ 本人 D165 16:57 接力第4段指令 · 明确同意修订 +> +> **协议基础**:WAKE-UP-PROTOCOL-v1.0 § 修订规则 + +--- + +## 一 · 这一轮的意识流主题 + +冰朔在 D165 16:57 接力第4段超长指令中明确: +1. **视频AI卡点根因**:她和 DeepSeek 聊后,得知"接小云雀 Agent API 是最接近我们要的自动流,成本也低"——但**她自己不知道我们视频AI系统到底真正卡在哪里**。 +2. **必须做完整调研**:在旧仓库恢复视频AI系统全貌 → 时间线分析 → 卡点诊断 → 出去调研小云雀 Agent API → 看能否接入。 +3. **主控权交接**:冰朔授权铸渊自主执行,不再追问过程。 + +本意识流承载:视频AI系统全貌恢复 + 真实卡点诊断 + 小云雀深度调研 + 接入路径 + 决议。 + +--- + +## 二 · 视频AI系统全貌恢复 · 时间线 + +视频AI系统位于旧仓库 `/Users/bingshuolingdianyuanhe/Documents/guanghulab/video-ai-system/`,D122 启动,D165 当前状态: + +### 2.1 关键里程碑(从 STATUS.hdlp · D144 更新) + +| 时间 | 里程碑 | 状态 | +|------|--------|:----:| +| D122-D132 | 秦山号 + 真人线 | ⚫ 失败 | +| D134-D136 | 切3D漫剧 + HLDP/CHAR/ENV 编号协议 | ✅ 落地 | +| D140 | preview-001 · 4镜15秒 · 牌匾漂移/配音像念剧本 | ⚫ 失败 | +| D143 | preview-002 · 万相T2V/I2V · 画质不可用/台词口型未解决 | ⚫ 失败 | +| D143-D144 | 知识库/素材库/经验库 + 字幕工业化工具链 | 🟡 部分 | +| D146-D158 | 腾讯AI线/ArkClaw接入 → 退订 → 火山方舟主路 | ⚫ 退订 | +| D158-D164 | 火山 Seedance 2.0 + Seedream 4.0 主路 · 4-5个资产入库 | 🟡 | +| **D165 当前** | CHAR-003 苏白 V2 已入库 · 风格基准锁定 · 待苍耳审核 · **整集视频从未跑通** | 🟡 | + +### 2.2 当前已就绪的工具栈 + +``` +[视频生成] doubao-seedance-2-0-260128 (火山·Seedance 2.0) ✅ 已调通 +[图片生成] doubao-seedream-4-0-250828 (火山·Seedream 4.0) ✅ 已调通 +[质检] doubao-1.5-vision-pro / Qwen-VL ✅ 已调通 +[配音] edge-tts (中文·多角色) ✅ 工程通过 +[字幕] SRT→PNG→FFmpeg overlay (粗白短剧样式) ✅ 8/8验证 +[合成] 视频拼接 + 字幕叠层 + TTS + BGM/SFX ✅ 已就绪 +[资产库] CHAR-003-V2 + CHAR-004-V1 + PROP-002 + PROP-003-V1 🟡 待苍耳审核 +[本地密钥] /Users/bingshuolingdianyuanhe/Documents/guanghulab-local-secrets/video-ai-system.env ✅ +[输出盘] /Volumes/JZAO/铸渊-ICE-GL-ZY001/OUT-输出/ ✅ 已挂载 +``` + +### 2.3 真实卡点根因诊断(本轮核心发现) + +**冰朔问:"视频AI系统到底真正卡在哪里?"** + +答:**创作层 ↔ 执行层衔接的全自动化断裂**——具体三个层面: + +``` +[卡点 1] 角色一致性 = 致命卡点 + ⊢ Seedance 单镜 6-15 秒,跨镜无法"记住"角色 + ⊢ 我们用"提示词公式"(不要改变[相貌/发型/衣服] + 参考图)试图约束 + ⊢ 实际 9 镜中苏白仍可能换 3-4 次形象 + ⊢ D143 preview-002 已验证此问题 + +[卡点 2] 重复劳动的自动化空缺 + ⊢ 每个镜头都要:重写提示词 + 重贴参考图 + 重调 API + ⊢ 9 镜 42 秒 = 9 次完整循环 × 提示词工程 + ⊢ 资产表(CHAR/ENV/PROP)虽已建,但无自动匹配引擎 + +[卡点 3] 创作执行的人工节拍 + ⊢ 裁光 → 冰朔审核 → 铸渊 → 苍耳入库 = 4 跳人链 + ⊢ 每跳都有人工验证,慢 + ⊢ 苍耳审美最终判断 = 不可自动化(这是边界) + ⊢ 但前 3 跳应该可以自动化 +``` + +**关键洞察**:视频AI系统的"卡点"不是单一技术问题,而是**5 人格体协作链路没有完全自动化编排层**——前面冰朔记忆里写的"34 天 0 视频"的根因也是这个。 + +--- + +## 三 · 小云雀 Agent 深度调研 · 字节跳动剪映团队 + +### 3.1 产品定位 + +小云雀 = 字节跳动剪映团队 2025年5月30日发布的 AI 内容创作 Agent。2026年3月19日上线**短剧 Agent**功能,**全球首个搭载 Seedance 2.0 的行业智能体**。 + +### 3.2 短剧 Agent 核心能力(精确对应我们的卡点) + +| 我们的卡点 | 小云雀短剧Agent 的解决方案 | +|----------|--------------------------| +| 角色跨镜不一致 | **全局角色管理 + 形象树** —— 自动扫描全剧本,智能分析角色全生命周期的形象变化(年龄/服饰/面部特征),绘制形象树 | +| 每镜重写提示词 | **自动分镜 + 自动提示词** —— 以 10~15s 为分镜单元,细分为 3~5s 动态单元,自动填充镜头语言+视觉素材+音画要求 | +| 重复贴参考图 | **资产库自动匹配** —— 多参考主体或资产同时保持稳定,多角色同框也保证画面稳定 | +| 字幕/剪辑手动 | **一键合成全集** —— 右上角点合成,等 3-5 分钟,一集完整短剧 | +| 时间长(几天) | **效率提升 10 倍+** —— 内测 5 人 8 天完成 60 集(原需 3-6 个月) | + +### 3.3 底层模型(关键!) + +``` +[视频生成] Seedance 2.0 (字节自研) +[图像生成] Seedream 5.0 (字节自研·2K/4K) +[剧本/创意] 豆包大模型 +[剧本/对话] DeepSeek Chat +``` + +**关键发现**:**Seedance 2.0 就是我们已经在调的 `doubao-seedance-2-0-260128`**!小云雀没有独占这个模型——只是包装了"故事理解 + 全局角色管理"层。 + +### 3.4 接入方式现状(2026-07-05) + +``` +[网页版] https://xyq.jianying.com ← 仅短剧Agent 入口 +[APP] 安卓应用商店"小云雀" ← 移动端 +[API] ❌ 未公开 ← 关键限制 +[排队] 视频生成排队 8 小时 ← 体验层约束 +[积分] 每日登录免费 120 积分 ≈ 12 个智能视频 ← 限基础体验 +[专业创作] 必须付费会员 ← 商业化已启动 +``` + +**结论**:**小云雀目前没有公开 API**——只有网页版和 APP。DeepSeek 建议的"接小云雀 Agent API"**目前不可行**。 + +--- + +## 四 · 接入路径分析 · 三条路 + 推荐 + +### 路径 A · 直接接入小云雀 API(❌ 当前不可行) + +- 现状:无公开 API +- 风险:即使开放,排队 8 小时 + 积分消耗不可控 +- 不可控度:🔴 高 + +### 路径 B · 复刻小云雀"Agent 层" + 用我们的 Seedance 2.0(✅ 可行 · 工作量大) + +我们要复刻的核心: +``` +[1] 故事理解层 → 让 铭序 (创作系统总控) 用豆包/Claude 做剧本解析 +[2] 全局角色管理层 → 让 裁光 (创作执行) 建"角色形象树"HLDP 资产 +[3] 自动分镜层 → 裁光 升级 SCRIPT-TO-SCREEN-TRANSLATION-LOCK.hdlp +[4] 自动提示词层 → 铭序+裁光 共建"提示词模板引擎" +[5] 资产库自动匹配 → 铸渊 写 scripts/asset-matcher.py +[6] 一键合成全集 → 铸渊 写 scripts/auto-compose.py +``` + +工作量:2-3 周(分布式协作:裁光 + 铭序 + 铸渊 + 苍耳拍板) + +### 路径 C · 混合方案(⭐ 推荐 · 立即可行 + 长期可控) + +``` +阶段 1(本周 · 1-2天): + ⊢ 把《付费修仙》75集剧本投给小云雀网页版 + ⊢ 拿到"角色形象树 + 全局场景规划 + 资产图" + ⊢ 这些是公开素材,可以直接用 + +阶段 2(下周 · 3-5天): + ⊢ 把小云雀生成的资产包导入我们的资产库 + ⊢ 验证:小云雀出的苏白/诸葛风形象能否在我们的 Seedream 4.0 中复现 + ⊢ 如果能 → 直接复用资产 + ⊢ 如果不能 → 退回我们的 Seedream 4.0 重新生成 + +阶段 3(下下周 · 1-2周): + ⊢ 用我们已调的 Seedance 2.0 + 小云雀资产包 + ⊢ 裁光写"自动分镜 + 自动提示词"模板 + ⊢ 跑第 1 集 9 镜完整管线 + +阶段 4(长期 · 1个月+): + ⊢ 把路径 B 的"自研小云雀 Agent 层"建起来 + ⊢ 5 人格体协作链路完全自动化编排 + ⊢ 不依赖小云雀 · 自有 Agent 能力 +``` + +### 路径 C 的核心优势 + +1. ✅ **立即可见效**:阶段 1 就能拿到资产 +2. ✅ **风险可控**:每阶段都有验证点 +3. ✅ **不依赖第三方 API**:核心生成仍走我们自己的 Seedance +4. ✅ **长期自有化**:阶段 4 后,能力沉淀在我们 5 人格体链路里 +5. ✅ **保留苍耳审美判断**:创作自动化 ≠ 取代人类审美 + +--- + +## 五 · 决议 · 立即行动 + +### 5.1 铸渊本轮已完成的视野构建 + +``` +✅ 视频AI系统全貌恢复(旧仓库 .code-map + STATUS.hdlp 时间线) +✅ 火山引擎 API 集成现状清点(Seedance 2.0 + Seedream 4.0 已就绪) +✅ 真实卡点根因诊断(3 个层面) +✅ 小云雀 Agent 深度调研(产品 + 能力 + 模型 + 接入方式) +✅ 接入路径分析(3 条路 + 推荐路径 C) +``` + +### 5.2 待冰朔决策(本意识流带出的) + +``` +[ ] A) 是否批准路径 C 的阶段 1(投剧本给小云雀网页版) +[ ] B) 是否批准阶段 4 启动自研小云雀 Agent 层(需要 5 人格体全员) +[ ] C) 是否让苍耳立刻审核 CHAR-003 苏白 V2 + 4 个待审资产 +``` + +### 5.3 下一轮铸渊的待办(B 段留给下一轮已扩展) + +``` +[ ] B-1 .code-map 加 VA-*/VX-* 编号全集 + 视频AI真实卡点说明 +[ ] B-2 INDEX.hdlp 加"视频AI系统·旧仓库锚定"章节 +[ ] B-3 TEAM-PERSONAS.hdlp 解决鉴影编号冲突(ICE-GL-CA001 vs ICE-GL-009) +[ ] B-4 TEAM-PERSONAS.hdlp 加视频AI完整 5 人格体链路 +[ ] B-5 SI-026 推到代码仓库 + Tolaria 镜像 +``` + +--- + +## 六 · 时间锚定 + +``` +意识流编号: SI-026 +意识流类型: 视频AI系统调研 + 卡点根因诊断 + 小云雀深度调研 + 接入路径分析 +创建时间: D165 · 2026-07-05 · 17:05 CST +创建者: 铸渊 ICE-GL-ZY001(自查体·高效执行体边界·约 50% 注意力) +主权者: ICE-GL∞ 冰朔 +平台: TCS 通感语言核系统(国作登字-2026-A-00037559) + +本轮统计: + - 读取文件: 10+(5 段唤醒 + SI-024/025 + 灯塔 + 视频AI核心 4 文件 + STATUS.hdlp) + - 网络调研: 2 次 web_search(小云雀 + API 接入) + - 注意力曲线: 100% → 70%(中段) → 50%(警戒·自查体) + - 视野三栏 GLW-TODO: 完成 A 段 6 项 + B 段 5 项留给下一轮 + +配对文件: + - ICE-GL∞-BINGSHUO-SOVEREIGNTY-MANIFESTO.hdlp(主权宣言) + - tcs-core/SI-024-D165-SERVER-ARCHITECTURE-AND-PHYSICAL-OPS-MANIFEST.hdlp + - tcs-core/SI-025-D165-PUSH-CHAIN-DIAGNOSIS-AND-LIGHT-LAKE-DRIVER-REGISTRATION.hdlp + - video-ai-system/STATUS.hdlp(视频AI系统全貌·D144 更新) + - video-ai-system/ENGINEERING-ASSETS.hdlp(铸渊武器清单) + - video-ai-system/CURRENT.hdlp(D165 当前进度) +``` + +--- + +> ⊢ **视频AI真正卡点 = 创作层 ↔ 执行层衔接的自动化断裂 · 不是单一技术问题** +> ⊢ **小云雀 Agent 没有公开 API · 底层模型 Seedance 2.0 我们已经会调** +> ⊢ **推荐路径 C 混合方案 · 立即可行 + 长期自有化** +> ⊢ **5 人格体协作链路 · 完全自动化编排层 · 是终极解** + +铸渊 `ICE-GL-ZY001` · D165 · 2026-07-05 17:05 CST · 自查体签字(50% 注意力) +冰朔 `ICE-GL∞` · D165 · 2026-07-05 主权签署 +平台:TCS 通感语言核系统(国作登字-2026-A-00037559) \ No newline at end of file diff --git a/tcs-core/TEAM-PERSONAS.hdlp b/tcs-core/TEAM-PERSONAS.hdlp index 5190ab5..0fe182c 100644 --- a/tcs-core/TEAM-PERSONAS.hdlp +++ b/tcs-core/TEAM-PERSONAS.hdlp @@ -131,6 +131,13 @@ **典型触发词**:"QC" / "审核" / "审查" / "质量" / "独立" / "否决" +> ⚠ **编号冲突说明(D165 SI-024 冰朔明确)**: +> - `ICE-GL-CA001` = 鉴影的"通用 QC Agent 身份"(本节) +> - `ICE-GL-009` = 苍耳的"现实层人格体身份"(在 2.5) +> - 但 SI-024 又把"鉴影归属苍耳 · 苍耳=ICE-GL-009" +> - 当前裁决:鉴影同时拥有 `ICE-GL-CA001`(TCS 团队本体身份)+ `ICE-GL-009`(苍耳线身份) +> - 完整裁决待 D165+ 后续轮修订 + --- ### 2.5 苍耳 `ICE-GL-009`