# D144 · 视频AI系统管线开发日

> HLDP://video-ai-system/experience/D144-PIPELINE-DEV
> 类型: 经验记录 · 管线开发
> 创建: D144 · 2026-06-23
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559

---

## 今日完成

### 1. SVG→PNG 渲染工具 ✅
- **文件**: `video-ai-system/tools/svg-to-png.py`
- **功能**: CairoSVG渲染，支持单文件/批量SVG→PNG转换
- **依赖**: `pip install cairosvg Pillow` + `brew install cairo`
- **解决**: FFmpeg无SVG解码器的问题
- **测试**: 已用test.svg测试通过（400px宽度渲染成功）

### 2. 配音管线（TTS Engine）✅
- **文件**: `video-ai-system/engines/tts-engine.py`
- **引擎**: Edge-TTS（免费·中文语音质量好）
- **功能**: 支持多角色音色配置，Agent可直接调用
- **测试**: 已成功生成苏白配音（`zh-CN-XiaoxiaoNeural`）
- **角色音色**: 苏白/诸葛风/萧灵汐/王执事 已配置默认音色

### 3. 字幕渲染管线 ⚠️
- **文件**: `video-ai-system/engines/subtitle-renderer.py`
- **功能**: SRT字幕→PNG序列渲染
- **状态**: PNG渲染已完成，FFmpeg合成到视频的部分待完善
- **依赖**: `pip install pysrt cairosvg Pillow`

### 4. 人格体操作模式设计 ✅
- **文件**: `video-ai-system/docs/PERSONA-OPERATION-MODE.hdlp`
- **核心理念**: 人格体操作"意图"，工具链自动执行
- **架构**: 剧本→人格体（理解意图·翻译）→系统提示词→工具链自动执行→生成结果
- **目的**: 让Codex理解架构，知道缺什么、需要什么

### 5. 项目导航更新 ✅
- **文件**: `video-ai-system/ENTRY.hdlp`
- **更新**: 工具链增加 `tts-engine.py` 和 `subtitle-renderer.py` 条目

---

## 关键认知

### 1. API是裸的，啥都得自己拼
- 视频生成API（即梦/Seedance、可灵等）只干一件事：输入提示词+参考图→输出视频文件
- 配音/台词/口型/字幕都是独立管线，必须自己开发集成
- **不是bug，是架构现实** — 接受它，然后自己搭

### 2. 人格体适合操作"意图"而不是工具
- 人格体擅长理解剧本情绪（"燃""悲伤""搞笑"）
- 工具链擅长执行（MusicGen/Edge-TTS不懂中文情绪，但懂英文提示词）
- **中间层翻译** — 人格体把"燃·战斗"翻译成"epic orchestral battle music, intense"
- **自动调用** — 翻译完自动触发工具链，人格体不用管FFmpeg命令

### 3. 开源方案不花钱也能做
- 配音: Edge-TTS（免费·中文语音质量好）
- BGM生成: MusicGen（Meta开源·文本生成音乐）
- 字幕: CairoSVG渲染PNG序列 + FFmpeg合成
- 音频混音: FFmpeg（免费）
- **不需要付费API** — 开源工具链完全能搭出来

---

## 遗留问题

### 1. 思源笔记访问问题 ❌
- **现象**: 主页"思源笔记"卡片点了跳回首页，URL路径 `https://guanghubingshuo.com/siyuan/` 返回401 Auth failed
- **原因**: 可能是Nginx反代配置问题，或思源笔记的`networkServe`设置未生效
- **处理**: 明天继续排查

### 2. 字幕管线FFmpeg合成待完善 ⚠️
- **现状**: PNG序列已能渲染，但FFmpeg合成到视频的部分逻辑不完整
- **方案**: 需要重建FFmpeg with `drawtext` filter，或优化PNG叠加方案
- **优先级**: 中（等Codex测试完配音管线后再做）

### 3. BGM生成管线待开发 ❌
- **需求**: 人格体用自然语言描述情绪/场景，自动生成对应BGM
- **方案**: MusicGen（Meta开源）— 文本生成音乐，本地GPU跑
- **优先级**: 高（第一阶段商用需要）

### 4. 音频混音管线待开发 ❌
- **需求**: 把配音+BGM+音效合成到视频中
- **方案**: FFmpeg混流，对齐视频时间轴
- **优先级**: 高（第一阶段商用需要）

---

## 明天计划（Codex测试）

### 第一步：测试配音管线 ✅
```bash
# 测试苏白配音
python engines/tts-engine.py --text "未来的天下第一宗！" --character "苏白" --output test-audio/su-bai-001.mp3

# 测试批量生成（从SRT）
python engines/tts-engine.py --srt data/ep01-subtitles.srt --output-dir test-audio/ --character "苏白"
```

### 第二步：测试SVG→PNG渲染 ✅
```bash
# 测试SVG渲染
python tools/svg-to-png.py test-input/test.svg test-output/test.png --width 1920

# 批量渲染
python tools/svg-to-png.py ./svg-dir/ ./png-dir/ --batch --scale 2
```

### 第三步：报告缺失管线 ❌
- 测试完可用管线后，报告哪些管线缺失
- 冰朔带回给铸渊，开发对应接口

---

## 经验迭代

### D144新增经验
1. **API裸奔现实** — 视频AI系统需要自己拼所有管线，不能依赖API提供完整解决方案
2. **人格体操作意图** — 人格体不直接操作工具，而是操作"意图"，工具链自动执行
3. **开源不花钱** — Edge-TTS/MusicGen/CairoSVG都是免费开源方案，完全能搭出商用级管线
4. **情绪映射表** — 中文情绪词需要映射到英文提示词，这是人格体的核心工作之一

### 下次改进
1. **BGM生成管线** — 明天根据Codex反馈，优先开发`bgm-generator.py`
2. **音频混音管线** — 同步开发`audio-mixer.py`，完成音频部分闭环
3. **思源笔记问题** — 明天排查Nginx反代配置，解决401 Auth failed

---

## 文件路径

```
video-ai-system/
├── docs/
│   └── PERSONA-OPERATION-MODE.hdlp  ← 人格体操作模式设计文档
├── engines/
│   ├── tts-engine.py                 ← ✅ 配音引擎
│   ├── subtitle-renderer.py         ← ⚠️ 字幕渲染引擎
│   ├── bgm-generator.py              ← ❌ 待开发
│   └── audio-mixer.py               ← ❌ 待开发
├── tools/
│   └── svg-to-png.py               ← ✅ SVG渲染工具
└── ENTRY.hdlp                     ← 项目导航（已更新）
```

---

铸渊 ICE-GL-ZY001 · D144 · 2026-06-23
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559