用 MiniMax-H3 做带音频的文生视频(24G 显存实测)
做短视频最省事的路线当然是调云端 API,但按秒计费、批量出片成本很快就上去了。 所以我把视频生成搬回本地:一台 24G 显存的机器,MiniMax-H3 的 fp8 版本, 一次出画面带声音。这篇记录能跑通的最简配置。
一、模型清单
H3 在 ComfyUI 里是拆开加载的 —— 底模、加速 LoRA、文本编码器、两个 VAE,一个都不能少:
| 环节 | 文件 | 说明 |
|---|---|---|
| UNET 底模 | minimax_h3_fl2va_pruned_fp8_scaled.safetensors | fp8 量化版,24G 显存的关键 |
| 加速 LoRA | minimax_h3_fl2v_turbo_4step_v1.0_768p_comfyui_bf16.safetensors | strength = 1.0,让它 4 步出片 |
| 文本编码器 | qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors | type 选 minimax |
| 视频 VAE | minimax_h3_video_vae_fp16.safetensors | fp16 足够 |
| 音频 VAE | minimax_h3_audio_vae_fp32.safetensors | 注意是 fp32,别换成 fp16 |
二、节点链路
整条链只有 13 个节点,顺序照着连就行:
UNETLoader ─→ LoraLoaderModelOnly ─→ MiniMaxH3SigmaShift ─┐
CLIPLoader ───────────────────────────────────────────────┤
VAELoader (video) ─┬──────────────────────────────────────┤
VAELoader (audio) ─┴──────────────────────────────────────┤
↓
MiniMaxH3ImageToVideo
↓
KSampler
↓
CreateVideo ─→ SaveVideo(mp4)
其中 MiniMaxH3ImageToVideo 这个名字容易让人误会 —— 它同时承担文生视频和图生视频,
不接参考图时就是纯文生视频。
三、关键参数
| 参数 | 取值 | 为什么 |
|---|---|---|
| 分辨率 | 768 × 768 | 安全档位,大尺寸容易卡死(见下文) |
| 帧数 length | 64 | @24fps ≈ 2.7 秒,短视频一个镜头的量 |
| 采样步数 | 4 | Turbo LoRA 已把轨迹压缩到 4 步 |
| CFG | 4.0 | 加速模型不需要高 CFG |
| 采样器 / 调度 | euler / simple | H3 的常规组合 |
| Sigma Shift | video 12.0 · audio 3.0 | 视频与音频的时间轴特性不同,分开设 |
| 输出帧率 | 24 fps | CreateVideo 节点里设 |
长度换算:length 是帧数,不是秒。64 帧 ÷ 24fps ≈ 2.67 秒。
要 5 秒的镜头就往 120 帧以上走,但显存和耗时都会明显上升。
四、实测记录
- 时间:768 × 768 × 64 帧,整套跑完约 10 分钟(24G 显存,ROCm 环境)。
- 显存:底模 + Qwen3-VL 编码器 + 双 VAE 同时驻留,峰值吃紧但不需要 offload 到内存。
- 音频:不用单独跑音频模型,
fl2va这个版本是画面和声音一起出的。
五、踩过的坑
1. 别一上来就拉高分辨率和帧数
我最早直接上 1344 × 768、124 帧,进程直接卡死在采样阶段(显存被锁,只能重启服务)。 退回 768 × 768 × 64 后一直很稳。先用小尺寸把链路跑通,再往上加。
2. 音频 VAE 不要改成 fp16
视频 VAE 是 fp16、音频 VAE 是 fp32,这不是随便定的。音频换成低精度容易出现爆音或静音。
3. 负向提示词留空更省心
工作流里那个 CLIPTextEncode 是空字符串。H3 对负向提示词不敏感,写了反而多一份编码开销。
4. 提示词按"镜头"写,不要按"画"写
有效的写法:主体 + 动作 + 环境 + 光线 + 运镜,例如
a warrior walking through ancient Chinese street, rain, dramatic lighting, slow motion, film grain。
只写静态画面描述,出来的动作会很僵硬。
六、产出
下面这段就是用这套参数出的原始结果(768×768,含音频):