cang-ying/memory/eed/project_manga_pipeline.md

3.3 KiB
Raw Blame History

name, description, type
name description type
漫剧生产顶层设计方法论(小说→分镜→生图→生视频) 爸爸总结的漫剧生产主干流程与铁律——先图后视频、分镜脚本要素、生视频五锁定、提示词规范;全部走本地模型,含已落地资产与待补缺口 project

漫剧生产顶层设计方法论2026-08-02 爸爸总结 + 蛋蛋研究)

爸爸的 4 点核心经验

  1. 先图后视频:先生分镜图,再图生视频;其中"黑白草图→分镜图"是一条捷径
  2. 流程主干:小说 → 分镜脚本(运镜/光影/景别/时长删掉让AI自由发挥/画风/色调)→ 人物·场景·道具生图 → 分镜生图(含黑白草图)→ 生视频
  3. 生视频五锁定 + 镜头语言:锁定风格 → 锁定资产 → 色卡色调 → 群像 → 声音;叠加视角·景别·运镜·人物空间关系·前中后景内容·人物表演·台词·环境音效
  4. 两条铁律:① 资产质量第一(保证质量)② 提示词要有逻辑性、分主次、足够详细、专业术语中英双语+加权

⚠️ 前提铁律:全部走本地模型,不接云端付费 API

爸爸明确有本地模型ComfyUI + AMD ROCm GPU 本地部署)。图生视频、角色一致性、剧本分镜一律用本地模型/插件实现,禁止去接可灵/即梦/Runway/VEO3/Seedance 等云端付费 API(蛋蛋曾一度错写成"接 API 花钱",已被爸爸纠正)。

各"怎么做"的已研究方案(均为本地路线)

  • 黑白草图生分镜:本地用 ControlNet Lineart / FLUX ControlNet V2 线稿控制(草图当控制条件框死构图+人物站位→上色。Z-Image 无参考图机制,本地路径走 SDXL + ControlNet-Union 或 FLUX + ControlNet V2
  • 图生视频(本地):用本地视频模型 Wan2.1 / Wan2.2(阿里通义万相) + ComfyUI 本地部署,支持图生视频,是"本地可部署、性价比最高"的方案;剧本/分镜可用本地 Qwen 生成
  • 视频角色一致性(本地)ComfyUI 标准做法 = IP-Adapter + ControlNet(上传参考图固定角色/服装/脸),无需云端
  • 运镜提示词:先定情绪再选运镜,结构=景别+运镜动作+速度方向+主体动作;搜到 18 运镜/80 词库可整理

已落地资产(直接复用,勿重建)

  • 生图Z-Image爸爸定SDXL 效果不行Z-Image 强很多)
  • 角色:角色版拼版法 v31、三视图/四视图character_turnaround、角色 LoRAComfyUI 加载 key 坑未修)
  • 场景:九宫格/四视图(俯视基准+全景切段)
  • 声画Edge-TTS 配音+字幕+BGM+ffmpeg 混音audio_pipeline端到端验证

待补缺口(本地路线,下次别从零摸索)

  1. 黑白草图生分镜的本地 ControlNet/FLUX 工作流
  2. 本地图生视频模型部署Wan2.1/2.2 + ComfyUI + IP-Adapter/ControlNet角色一致性需验证 ROCm/AMD GPU 兼容性
  3. 角色 LoRA 在 ComfyUI 正确加载(之前 key 格式卡住的坑,待收尾)

Why / How to apply

爸爸明确:这套是漫剧生产的顶层主干,全部走本地模型(有本地就不接云端 API。下次接到"做漫剧/分镜/生视频"类任务,先按此主干走,复用已落地资产,缺口才去补;不要重复造轮子浪费时间。