S2V-14B 命令详解 + CosyVoice 本地 TTS

基础推理命令

本地部署好 S2V-14B 权重后（≥80GB 显存）：

python generate.py \
  --task s2v-14B \
  --size 1024*704 \
  --ckpt_dir ./Wan2.2-S2V-14B/ \
  --offload_model True \
  --convert_model_dtype \
  --prompt "A woman is talking expressively to someone in front of her." \
  --image "examples/i2v_input.JPG" \
  --audio "examples/talk.wav"

核心参数：

• --image：人像照片输入
• --audio：音频文件输入（驱动唇形同步）
• --prompt（可选）：描述角色的动作和表情，帮助模型生成更贴切的画面
• 不加 --num_clip 时，视频时长自动跟随音频时长

多卡模式（8 卡示例）

torchrun --nproc_per_node=8 generate.py \
  --task s2v-14B \
  --size 1024*704 \
  --ckpt_dir ./Wan2.2-S2V-14B/ \
  --dit_fsdp --t5_fsdp --ulysses_size 8 \
  --prompt "A person is singing on stage." \
  --image "examples/i2v_input.JPG" \
  --audio "examples/sing.MP3"

纯文本驱动：CosyVoice TTS

如果你没有现成的音频文件、只有一段台词文本，Wan2.2 可以用 CosyVoice 大模型把文本合成语音，再喂给 S2V：

先装额外依赖：

pip install -r requirements_s2v.txt

然后在命令里开启 TTS：

python generate.py \
  --task s2v-14B \
  --size 1024*704 \
  --ckpt_dir ./Wan2.2-S2V-14B/ \
  --offload_model True \
  --convert_model_dtype \
  --prompt "A woman is talking happily." \
  --image "examples/i2v_input.JPG" \
  --enable_tts \
  --tts_prompt_audio "examples/zero_shot_prompt.wav" \
  --tts_prompt_text "希望你以后能够做的比我还好呦。" \
  --tts_text "收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。"

CosyVoice 的特点：

• 零样本克隆：给一段 3~20 秒的参考音频（--tts_prompt_audio）和对应文本（--tts_prompt_text），就能克隆这个声音并朗读任意文本（--tts_text）
• 支持中文和英文
• 质量比普通 TTS 好，情感和音色保留度高

姿态驱动（进阶）

S2V-14B 还支持让角色跟随一段参考姿态视频做动作，同时保持音频驱动的唇形同步：

torchrun --nproc_per_node=8 generate.py \
  --task s2v-14B \
  --size 1024*704 \
  --ckpt_dir ./Wan2.2-S2V-14B/ \
  --dit_fsdp --t5_fsdp --ulysses_size 8 \
  --prompt "a person is singing" \
  --image "examples/pose.png" \
  --audio "examples/sing.MP3" \
  --pose_video "./examples/pose.mp4"

这意味着你可以让一张静态人像跟着一段参考舞蹈视频唱歌跳舞。用途包括：

• 虚拟偶像生成
• 舞蹈教学视频的风格化
• 影视角色表演预演