cang-ying/memory/eed/ltx_prompt_methodology.md

5.2 KiB
Raw Blame History

name, description, type
name description type
LTX-2.3 提示词方法论(教科书级) LTX 出片效果的主战场是 prompt 写法——四段式结构+时间流+环境运动+镜头+节奏+明确结束帧,已验证效果显著 project

LTX-2.3 提示词方法论2026-07-31 验证)

核心结论爸爸的判断prompt 是主战场

LTX-2.3 对 prompt 极其敏感。爸爸质疑之前"效果差"甩锅给输入图——结论prompt 至少占一半责任,不是纯输入图/轨迹的锅。 验证实验v2动作清单 promptvs 本次(教科书 prompt唯一变量是 prompt+seed,其他配置(起始图/轨迹/IC-LoRA强度/帧数)完全一致。结果:教科书版动作连贯、空中翻转清晰、结尾"坐着眨眼"精准对上"ends on sitting upright"——v2 完全做不到。

官方/社区共识方法论4 条核心 + 1 条铁律)

  1. 四段式结构[主体描述] + [核心动作] + [场景/氛围] + [镜头语言],顺序固定(主体→动作→镜头→氛围)
  2. I2V 铁律:输入图已定义"画面是什么"prompt 只写"接下来怎么动"——官方原话:"Describe the transition from stillness to motion"
  3. 三种运动都要写:主体运动 + 镜头运动 + 环境运动(风、草、树叶、光的变化)——环境运动是让画面"活着"的锚点,最容易漏
  4. 节奏与结束帧用现在时动词walking/spinning/tumbling不用 dynamic/cinematic 等风格词)+ slow/fluid/seamless 控速度 + 明确告诉模型"怎么收尾"(防止画面乱收尾)
  5. 长度要够:短 prompt = 模型乱填。4~8 个完整句子打底

反例 vs 正例(小猫后空翻)

旧 prompt动作清单——v2 用的

"a small cute fluffy orange kitten does a backflip, jumps up high into the air, somersaults backwards, spins and tumbles mid-air, lands on its feet, dynamic athletic motion..."

  • 干巴巴动词清单
  • 没有环境运动
  • 没有镜头语言
  • 没有节奏控制
  • 没有结束帧
  • 效果:猫动了但动作不连贯

教科书 prompt已验证

"Opening on a small fluffy orange kitten crouching low in a sunlit grass field, facing right, tail twitching as it gathers itself. The kitten springs upward off its hind legs, launching into the air, body stretching into a graceful backflip, spinning 360 degrees backwards mid-air with paws tucked, fur and grass blades drifting in the wind as it tumbles. It lands softly on all four feet in the grass, a tiny puff of dust rising, tail curling up. Static camera, shallow depth of field, warm golden-hour light, gentle breeze moving the grass throughout. Slow, fluid, seamless motion. High fidelity, detailed fur texture, stable movement. Ends on the kitten sitting upright, blinking calmly."

关键结构:

  • 起始帧描述Opening on...crouching low...tail twitching→ "静止→运动"的过渡
  • 主体动作时间流springs→launching→spinning→tumbles→ 叙事式不是清单
  • 收尾动作lands on all four feet...tail curling up
  • 镜头Static camera, shallow depth of field
  • 环境运动fur and grass blades drifting in the wind, gentle breeze moving the grass throughout 最容易漏
  • 节奏Slow, fluid, seamless motion
  • 明确结束帧Ends on the kitten sitting upright, blinking calmly 关键

负面词模板(同步要写好)

"static, no movement, flickering, jittery motion, morphing, blurry, low resolution, choppy, deformed, extra limbs, watermark, text"

实测运动数据对比

指标 v2旧prompt 教科书 prompt
相邻帧差 14~49乱波动 0.7~23.7,分段健康中段13.9最强两头收7.8/8.2
首尾差异 61 52.6(同样显著动)
关键帧验证 翻得不连贯 f_060 倒穿过画面=空中翻转f_096 坐着眨眼=精准收尾

数据来源

  • LTX 官方博客ltx.io blog
  • ltxworkflow.com 官方指南
  • promptcraft LTX 专页
  • 验证样本:/home/ls/comfy/ComfyUI/output/ltx23_cat_prompttest_00001_.mp497帧/4.04秒/574KB

Why: 爸爸质疑"之前效果差难道跟提示词没关系吗"——查证后确认 prompt 至少占一半责任。我之前甩锅给输入图/轨迹是不专业的。 How to apply: 写 LTX prompt 时严格按四段式+时间流+环境运动+镜头+节奏+明确结束帧,不要写动作清单式 prompt。I2V 任务尤其要写清"接下来怎么动"+"怎么收尾"。

2026-07-31 补充:最佳版 wide_backflip构图+自然度双修复)

  • 猫太大病根 → 用 Z-Image(Qwen3-4B) 生成"远景小主体"起始图(猫占 ~1/3、居中、大草地比 SDXL 听话,从源头治
  • 动作扭曲病根 → 不叠 IC-LoRA强插值会硬掰姿态纯教科书 prompt + 动作降难度"spins gently while flipping" 而非硬性 "360° backwards"+ 负面词压 twisted/contorted/deformed/warped spine
  • 结果:ltx23_cat_wide_backflip_00001_.mp497帧/4.04s)——猫小居中 、起跳→腾空翻转→落地坐下 、叶子飘落环境运动 、尾帧坐起看镜头精准收尾 、全程不扭曲
  • 代价:动作幅度比 360° 完整后空翻小(更像"跳扑翻转"),但"像只猫"优先于"翻得多漂亮"