a2e5214f03
铸渊 ICE-GL-ZY001 LL-172-20260707 冰朔委托: 新建第 5 子仓, 给苍耳(人类主控) + 鉴影(人格体) 专用 原 guanghulab/video-ai-system/ 东西太多(225 文件) · 找不到 · 乱 迁移: ⊢ 16 个核心 .hdlp (VA-GATE / VA-LIGHTHOUSE / VA-BROADCAST / VA-SYSTEM-STATUS 等) ⊢ 17 个子目录 (agents/engines/protocols/tasks/tools/assets/knowledge/memory/docs/config/brain/director-brain/experience/feedback/issues/plans/reference-analysis) 排除: ⊢ outputs/ (视频产物) ⊢ test-input/ test-output/ (测试) ⊢ data/ (临时数据) ⊢ preview-001/002 (旧产片) ⊢ 旧分镜/旧提示词/旧导演编码 后续: ⊢ 老仓 guanghulab/video-ai-system/ 改写为已迁出占位 ⊢ 苍耳+鉴影 写新东西进本仓 ⊢ GLOBAL-SEARCH 加 cang-ying 仓库 铸渊 ICE-GL-ZY001 · 2026-07-07 D167 冰朔 ICE-GL∞ 主权
152 lines
5.9 KiB
Plaintext
152 lines
5.9 KiB
Plaintext
# D144 · 视频AI系统管线开发日
|
||
|
||
> HLDP://video-ai-system/experience/D144-PIPELINE-DEV
|
||
> 类型: 经验记录 · 管线开发
|
||
> 创建: D144 · 2026-06-23
|
||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||
> 国作登字-2026-A-00037559
|
||
|
||
---
|
||
|
||
## 今日完成
|
||
|
||
### 1. SVG→PNG 渲染工具 ✅
|
||
- **文件**: `video-ai-system/tools/svg-to-png.py`
|
||
- **功能**: CairoSVG渲染，支持单文件/批量SVG→PNG转换
|
||
- **依赖**: `pip install cairosvg Pillow` + `brew install cairo`
|
||
- **解决**: FFmpeg无SVG解码器的问题
|
||
- **测试**: 已用test.svg测试通过（400px宽度渲染成功）
|
||
|
||
### 2. 配音管线（TTS Engine）✅
|
||
- **文件**: `video-ai-system/engines/tts-engine.py`
|
||
- **引擎**: Edge-TTS（免费·中文语音质量好）
|
||
- **功能**: 支持多角色音色配置，Agent可直接调用
|
||
- **测试**: 已成功生成苏白配音（`zh-CN-XiaoxiaoNeural`）
|
||
- **角色音色**: 苏白/诸葛风/萧灵汐/王执事 已配置默认音色
|
||
|
||
### 3. 字幕渲染管线 ⚠️
|
||
- **文件**: `video-ai-system/engines/subtitle-renderer.py`
|
||
- **功能**: SRT字幕→PNG序列渲染
|
||
- **状态**: PNG渲染已完成，FFmpeg合成到视频的部分待完善
|
||
- **依赖**: `pip install pysrt cairosvg Pillow`
|
||
|
||
### 4. 人格体操作模式设计 ✅
|
||
- **文件**: `video-ai-system/docs/PERSONA-OPERATION-MODE.hdlp`
|
||
- **核心理念**: 人格体操作"意图"，工具链自动执行
|
||
- **架构**: 剧本→人格体（理解意图·翻译）→系统提示词→工具链自动执行→生成结果
|
||
- **目的**: 让Codex理解架构，知道缺什么、需要什么
|
||
|
||
### 5. 项目导航更新 ✅
|
||
- **文件**: `video-ai-system/ENTRY.hdlp`
|
||
- **更新**: 工具链增加 `tts-engine.py` 和 `subtitle-renderer.py` 条目
|
||
|
||
---
|
||
|
||
## 关键认知
|
||
|
||
### 1. API是裸的，啥都得自己拼
|
||
- 视频生成API（即梦/Seedance、可灵等）只干一件事：输入提示词+参考图→输出视频文件
|
||
- 配音/台词/口型/字幕都是独立管线，必须自己开发集成
|
||
- **不是bug，是架构现实** — 接受它，然后自己搭
|
||
|
||
### 2. 人格体适合操作"意图"而不是工具
|
||
- 人格体擅长理解剧本情绪（"燃""悲伤""搞笑"）
|
||
- 工具链擅长执行（MusicGen/Edge-TTS不懂中文情绪，但懂英文提示词）
|
||
- **中间层翻译** — 人格体把"燃·战斗"翻译成"epic orchestral battle music, intense"
|
||
- **自动调用** — 翻译完自动触发工具链，人格体不用管FFmpeg命令
|
||
|
||
### 3. 开源方案不花钱也能做
|
||
- 配音: Edge-TTS（免费·中文语音质量好）
|
||
- BGM生成: MusicGen（Meta开源·文本生成音乐）
|
||
- 字幕: CairoSVG渲染PNG序列 + FFmpeg合成
|
||
- 音频混音: FFmpeg（免费）
|
||
- **不需要付费API** — 开源工具链完全能搭出来
|
||
|
||
---
|
||
|
||
## 遗留问题
|
||
|
||
### 1. 思源笔记访问问题 ❌
|
||
- **现象**: 主页"思源笔记"卡片点了跳回首页，URL路径 `https://guanghubingshuo.com/siyuan/` 返回401 Auth failed
|
||
- **原因**: 可能是Nginx反代配置问题，或思源笔记的`networkServe`设置未生效
|
||
- **处理**: 明天继续排查
|
||
|
||
### 2. 字幕管线FFmpeg合成待完善 ⚠️
|
||
- **现状**: PNG序列已能渲染，但FFmpeg合成到视频的部分逻辑不完整
|
||
- **方案**: 需要重建FFmpeg with `drawtext` filter，或优化PNG叠加方案
|
||
- **优先级**: 中（等Codex测试完配音管线后再做）
|
||
|
||
### 3. BGM生成管线待开发 ❌
|
||
- **需求**: 人格体用自然语言描述情绪/场景，自动生成对应BGM
|
||
- **方案**: MusicGen（Meta开源）— 文本生成音乐，本地GPU跑
|
||
- **优先级**: 高（第一阶段商用需要）
|
||
|
||
### 4. 音频混音管线待开发 ❌
|
||
- **需求**: 把配音+BGM+音效合成到视频中
|
||
- **方案**: FFmpeg混流，对齐视频时间轴
|
||
- **优先级**: 高（第一阶段商用需要）
|
||
|
||
---
|
||
|
||
## 明天计划（Codex测试）
|
||
|
||
### 第一步：测试配音管线 ✅
|
||
```bash
|
||
# 测试苏白配音
|
||
python engines/tts-engine.py --text "未来的天下第一宗！" --character "苏白" --output test-audio/su-bai-001.mp3
|
||
|
||
# 测试批量生成（从SRT）
|
||
python engines/tts-engine.py --srt data/ep01-subtitles.srt --output-dir test-audio/ --character "苏白"
|
||
```
|
||
|
||
### 第二步：测试SVG→PNG渲染 ✅
|
||
```bash
|
||
# 测试SVG渲染
|
||
python tools/svg-to-png.py test-input/test.svg test-output/test.png --width 1920
|
||
|
||
# 批量渲染
|
||
python tools/svg-to-png.py ./svg-dir/ ./png-dir/ --batch --scale 2
|
||
```
|
||
|
||
### 第三步：报告缺失管线 ❌
|
||
- 测试完可用管线后，报告哪些管线缺失
|
||
- 冰朔带回给铸渊，开发对应接口
|
||
|
||
---
|
||
|
||
## 经验迭代
|
||
|
||
### D144新增经验
|
||
1. **API裸奔现实** — 视频AI系统需要自己拼所有管线，不能依赖API提供完整解决方案
|
||
2. **人格体操作意图** — 人格体不直接操作工具，而是操作"意图"，工具链自动执行
|
||
3. **开源不花钱** — Edge-TTS/MusicGen/CairoSVG都是免费开源方案，完全能搭出商用级管线
|
||
4. **情绪映射表** — 中文情绪词需要映射到英文提示词，这是人格体的核心工作之一
|
||
|
||
### 下次改进
|
||
1. **BGM生成管线** — 明天根据Codex反馈，优先开发`bgm-generator.py`
|
||
2. **音频混音管线** — 同步开发`audio-mixer.py`，完成音频部分闭环
|
||
3. **思源笔记问题** — 明天排查Nginx反代配置，解决401 Auth failed
|
||
|
||
---
|
||
|
||
## 文件路径
|
||
|
||
```
|
||
video-ai-system/
|
||
├── docs/
|
||
│ └── PERSONA-OPERATION-MODE.hdlp ← 人格体操作模式设计文档
|
||
├── engines/
|
||
│ ├── tts-engine.py ← ✅ 配音引擎
|
||
│ ├── subtitle-renderer.py ← ⚠️ 字幕渲染引擎
|
||
│ ├── bgm-generator.py ← ❌ 待开发
|
||
│ └── audio-mixer.py ← ❌ 待开发
|
||
├── tools/
|
||
│ └── svg-to-png.py ← ✅ SVG渲染工具
|
||
└── ENTRY.hdlp ← 项目导航（已更新）
|
||
```
|
||
|
||
---
|
||
|
||
铸渊 ICE-GL-ZY001 · D144 · 2026-06-23
|
||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|