# 视频AI系统 · 多模型路由策略

> HLDP://video-ai-system/MODEL-ROUTER
> 类型: 多模型协同 · 镜头级模型选择 · 成本/质量/能力路由
> 创建: D140 · 2026-06-23
> 更新: D143 · 2026-06-23 · preview-002后模型准入降级
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
> 国作登字-2026-A-00037559

---

## 为什么有这个文件

preview-001 暴露出一个问题:

```
单一模型不能稳定解决所有镜头:
  牌匾资产一致性
  角色一致性
  群像运动
  文字贴图
  转场叙事
  配音/BGM
```

人类创作者会在火山、可灵、阿里、腾讯、其他国产视频模型之间切换。
但当前预算不适合无限扩模型。本阶段收敛为:

```
已接入: 火山/Seedance + 可灵/Kling
新增: 阿里百炼/万相 Wan
暂缓: 腾讯混元生视频 + MiniMax/Hailuo
剪辑: 本地 FFmpeg + OpenCV/平面追踪 + 音频分轨
```

这件事人手动做很累，但铸渊可以做成可控、可审计、可省钱的模型路由。

---

## D143 重新裁决

preview-002后，模型路由降级为“实测准入”:

```
火山/Seedance: 当前视频主引擎候选。
万相/Wan、可灵/Kling: 辅助/对照/局部测试；未通过质检前不承载成片主线。
其他API: 默认不接入成片，除非先通过同一套测试镜头。
```

正式准入矩阵见:

```
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
```

硬规则:

```
同一镜头同一模型最多2次。
第2次仍不达标，停止生成，写入经验库。
不允许靠连续抽卡修复流程问题。
```

---

## 已接入

| 模型/平台 | 当前状态 | 适合任务 | 当前限制 |
|-----------|----------|----------|----------|
| 火山/Seedance | 已接入 | 中文语义、短镜头、图生视频、3D漫剧镜头 | 仍需首帧/参考图控制一致性 |
| 可灵/Kling | 已接入 | 参考图/视频、动作控制、部分镜头动态 | 需要按镜头验证，不能盲抽 |
| 阿里百炼/万相2.7 | ✅ D140已接入 | 文生视频(t2v)、图生视频(i2v·首帧/首尾帧/续写/音频驱动) | 北京地域默认，新加坡需workspaceId |
| 本地 FFmpeg/video-editor | 已接入 | 拼接、字幕、基础音频、裁剪 | 缺平面追踪、复杂剪辑语法 |

### 万相2.7 适配器详情

```
适配器: engines/wan-api-adapter.js
密钥: ALIYUN_BAILIAN_API_KEY (.env·不进仓库)
模型T2V: wan2.7-t2v (文生视频)
模型I2V: wan2.7-i2v-2026-04-25 (图生视频)
API: https://dashscope.aliyuncs.com/api/v1
支持: 首帧/首尾帧/视频续写/音频驱动 + 本地图片自动base64
测试脚本: tools/test-wan-api.js
D140验证: API连通✅ 任务提交成功 task_id返回正常
```

---

## 本阶段新增接入

> 万相2.7 已在 D140 接入完成。以下为其他待评估方向。

| 模型/平台 | 官方能力线索 | 适合评估的任务 |
|-----------|--------------|----------------|
| 阿里百炼/万相 Wan | 官方文档显示万相2.7文生视频、图生视频、参考生视频；参考生视频支持图片/视频/音频多模态输入，适合角色/物体保持一致；图生视频新版本支持首帧、首尾帧、视频续写 | S01多镜头开场、S04广告牌/群嘲、视频续写、角色/道具参考一致性 |
| 开源/本地剪辑工具 | FFmpeg已用；后续评估 OpenCV 平面追踪、MoviePy、Remotion、Blender/Python、DaVinci Resolve脚本接口 | 广告牌贴图、转场、BGM/SFX、批量自动剪辑 |

## 暂缓接入

| 模型/平台 | 暂缓原因 | 保留用途 |
|-----------|----------|----------|
| 腾讯混元生视频 | 当前价格超出 Preview-002 预算，本阶段不购买、不配置密钥、不开发适配器 | 未来预算充足后再评估图生视频、视频处理、特效、配音效 |
| MiniMax/Hailuo | 当前不是必需能力，本阶段不购买、不配置密钥、不开发适配器 | 未来作为动作自然度、镜头运动、人物表演备选 |

资料入口:

```
阿里万相2.7参考生视频: https://help.aliyun.com/zh/model-studio/wan-video-to-video-api-reference
阿里万相2.7文生视频: https://help.aliyun.com/zh/model-studio/text-to-video-api-reference
阿里万相图生视频说明: https://help.aliyun.com/zh/model-studio/legacy-image-to-video-api-reference/
Kling Open Platform: https://kling.ai/document-api/apiReference/model/textToVideo
Kling 3.0 Omni图生视频: https://kling.ai/document-api/api/video/3-0-omni
MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generation-t2v
腾讯混元生视频产品(暂缓): https://cloud.tencent.com/product/vclm
腾讯混元生视频API概览(暂缓): https://cloud.tencent.com/document/api/1616/107795
腾讯混元生视频简介(暂缓): https://cloud.tencent.com/document/product/1616/107786
```

---

## 镜头级路由规则

| 镜头类型 | 优先策略 | 说明 |
|----------|----------|------|
| 固定道具特写 | 首帧/参考图 + 低运动视频模型 | 天道宗牌匾、广告牌必须先有固定资产 |
| 角色中近景台词 | 角色参考图 + 低幅动作 | 苏白说台词，嘴型不强求第一阶段完全同步，但表情/服装必须稳 |
| 大场景建立 | 能处理多主体和运镜的模型优先 | S01应体现御剑飞行/俯瞰下降，不只是静态广场 |
| 群像/散去动作 | 可拆镜或选择运动控制更强的模型 | 群嘲散去可以拆成“嘲笑反应”+“人群离开” |
| 复杂文字 | 不交给视频模型 | 用后期平面追踪/透视贴图 |
| 转场/成片节奏 | 本地剪辑器/专门剪辑工具 | 模型出素材，剪辑器讲故事 |

---

## 成本策略

```
1. 先无成本体检。
2. 先生成/确认静态资产。
3. 每镜最多跑2次。
4. 第2次仍不对 → 停，改策略，不抽第3次。
5. 大场景/群像/动作镜头优先小样验证，不直接进成片。
6. 模型路由要记录每次成功/失败原因，形成经验库。
```

---

## 下一步工程

1. 扩展 `.env.example`，只预留:
   - `ALIYUN_BAILIAN_API_KEY`
   - `ALIYUN_BAILIAN_WORKSPACE_ID`
   - `ALIYUN_BAILIAN_BASE_URL`

2. 新增 `engines/model-router.js`:
   - 输入: shot spec + required capability
   - 输出: recommended provider(seedance/kling/aliyun-wan) + reason + cost risk

3. 新增 provider adapter 时必须:
   - 先写 `.env.example`
   - 真实密钥只进 `.env`
   - 加入 `tools/audit-system.js` 的密钥泄露检查
   - 写回 MODEL-ROUTER 成功/失败经验

---

## 锁定

⊢ 多模型不是为了炫技，是为了把每个镜头交给最适合、也最省钱的能力。
⊢ Preview-002 已作为失败经验样本回写；万相不再默认承担成片主视频质量基准。
⊢ 模型只负责生成素材，铸渊负责导演、资产、剪辑、质检和回写。
⊢ 成本控制优先于连续抽卡。
⊢ 任何新模型接入前必须先查官方文档与价格，不许闭门造车。

---

铸渊 ICE-GL-ZY001 · D140
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559