97 lines
3.7 KiB
Plaintext
97 lines
3.7 KiB
Plaintext
|
# LOCAL-PIPELINE-V1.hdlp · 本地漫剧制作管线（¥0 · 全开源模型）
|
|||
|
|
|
|||
|
|
> HLDP://video-ai-system/LOCAL-PIPELINE-V1.hdlp
|
|||
|
|
> 耳耳蛋 ICE-GL-耳耳蛋 · PTS-VA-001-EED · D205 · 2026-08-03
|
|||
|
|
> 流程定义：苍耳爸爸 · 工具验证：蛋蛋
|
|||
|
|
> 对齐 BC-006 IMAGE-FIRST-v1.0 · 默认路由 LOCAL_MOTION
|
|||
|
|
> 步骤要求（每环节怎么做）→ 见 PIPELINE-STEPS-V1.hdlp
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## §1 · 总原则
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
✅ 全部环节由本地开源模型免费完成（¥0 电费）
|
|||
|
|
✅ 默认不调用任何线上付费 API（Seedance/即梦 等仅在苍耳圈定后使用）
|
|||
|
|
✅ 图片定一致性 · 视频仅生成动态 / 本地运镜
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## §2 · 管线流程（苍耳定义 · 七段）
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
小说
|
|||
|
|
↓ ① 改编
|
|||
|
|
剧本
|
|||
|
|
↓ ② 分镜脚本（注意点见 §3）
|
|||
|
|
分镜脚本
|
|||
|
|
↓ ③ 资产生图（人物/场景/道具）
|
|||
|
|
人物/场景/道具图
|
|||
|
|
↓ ④ 分镜生图（黑白草图 → 俯视引导图 → 3D 辅助）
|
|||
|
|
分镜图
|
|||
|
|
↓ ⑤ 生关键帧
|
|||
|
|
关键帧
|
|||
|
|
↓ ⑥ 生视频（本地运镜 / 本地视频模型）
|
|||
|
|
视频片段
|
|||
|
|
↓ ⑦ 合成（拼接/字幕/配音/音效）
|
|||
|
|
成片
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## §3 · 分镜脚本注意点（苍耳定）
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
必含要素:
|
|||
|
|
├── 运镜（push-in / pan / tilt / handheld …）
|
|||
|
|
├── 光影（冷蓝 / 暖黄 / 高对比 / 氛围光 …）
|
|||
|
|
├── 景别（特写 / 中近景 / 中景 / 全景 / POV …）
|
|||
|
|
├── 画风（写实 / 赛璐璐 / 厚涂 …）
|
|||
|
|
└── 色调（整体色彩倾向指定）
|
|||
|
|
删除要素:
|
|||
|
|
└── ⏱ 时长 —— 不写死时长，让 AI 自由发挥
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## §4 · 工具映射（全部验证可用 ✅）
|
|||
|
|
|
|||
|
|
| 环节 | 本地工具 | 状态 |
|
|||
|
|
|------|----------|:--:|
|
|||
|
|
| ① 小说→剧本 | Ollama `qwen3.5:9b` | ✅ 实测通 |
|
|||
|
|
| ② 剧本→分镜脚本 | Ollama `qwen3.5:9b` | ✅ |
|
|||
|
|
| ③ 资产生图 | ComfyUI `RealVisXL_V5.0` / `flux-2-klein-4b` / `z_image_turbo` | ✅ 服务在 |
|
|||
|
|
| ③ 角色一致性 | `subai_lora_v1` LoRA | ✅ 已有 |
|
|||
|
|
| ④ 分镜生图·引导 | ComfyUI controlnet（黑白草图/俯视引导） | ✅ 模型库在 |
|
|||
|
|
| ④ 分镜生图·3D辅助 | `hunyuan3d-dit-v2`（3D 视角生成） | ✅ 模型在 |
|
|||
|
|
| ⑤ 生关键帧 | ComfyUI（分镜图 → 精修关键帧） | ✅ |
|
|||
|
|
| ⑥ 生视频·本地运镜 | `tools/local_motion.py`（ffmpeg zoompan，¥0） | ✅ 实测出片 |
|
|||
|
|
| ⑥ 生视频·模型 | `ltx-2.3-22b`（唯一主力 · GGUF Q4 + Gemma12B + embconn，见 ltx_test_hardware.md） | ✅ 模型在·已跑通 |
|
|||
|
|
| ⑦ 合成拼接 | `tools/video_composer.py` | ✅ 实测出片 |
|
|||
|
|
| ⑦ 音效/音乐 | `stable_audio_3` | ✅ 模型在 |
|
|||
|
|
| ⑦ 配音 | edge-tts（晓晓中文女声） | ✅ 实测出声 |
|
|||
|
|
|
|||
|
|
## §5 · 编排入口
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
统一入口: video-ai-system/pipeline.py
|
|||
|
|
① pipeline.py storyboard <剧本> # 剧本→分镜
|
|||
|
|
② pipeline.py route <分镜.json> # 路由分配
|
|||
|
|
③ pipeline.py render <分镜.json> # 批量出图
|
|||
|
|
④ pipeline.py upscale <图片文件夹> # 高清放大
|
|||
|
|
⑤ pipeline.py compose <文件夹> -o EP.mp4 # 剪辑拼接
|
|||
|
|
⑥ pipeline.py assets <项目目录> # 资产生成
|
|||
|
|
本地运镜: python tools/local_motion.py <图片文件夹> -o <输出>
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## §6 · 已验证里程碑（D205）
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
✅ [1] 图→本地运镜→成片 闭环通（4图→4段→20s成片 EP01-MINIMAL-LOCAL-VALIDATED.mp4）
|
|||
|
|
✅ [2] Ollama 文本环节通（qwen3.5:9b 本地生成正常）
|
|||
|
|
⬜ [3] 剧本→分镜脚本 实跑（待发起）
|
|||
|
|
⬜ [4] 分镜生图 实跑（黑白草图/俯视引导/3D辅助）
|
|||
|
|
⬜ [5] 关键帧→本地视频模型 实跑（LTX I2V）
|
|||
|
|
⬜ [6] 全链路 16 镜成片
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
> ⊢ 苍耳定义流程 · 蛋蛋固化工具链 · 全本地 ¥0
|
|||
|
|
> ⊢ 下一步由苍耳指定从哪个环节开跑
|