人体运动视频插件 MimicMotion

官方文档

https://github.com/Tencent/MimicMotion

https://github.com/kijai/ComfyUI-MimicMotionWrapper

功能介绍

上传一张人物图片，上传一个人物视频，人物图片中的人物可以按照视频中的人物动作运动。

安装

需要安装两个插件

• https://github.com/kijai/ComfyUI-MimicMotionWrapper
• https://github.com/kijai/ComfyUI-KJNodes

均使用插件管理器安装，安装完成之后，重启 ComfyUI。

模型下载

• （支持自动下载）下载 stable-video-diffusion-img2vid-xt-1-1 中的以下文件到目录 ComfyUI/models/diffusers

\ComfyUI\models\diffusers\stable-video-diffusion-img2vid-xt-1-1
│   model_index.json
├───feature_extractor
│       preprocessor_config.json
├───image_encoder
│       config.json
│       model.fp16.safetensors
├───scheduler
│       scheduler_config.json
├───unet
│       config.json
│       diffusion_pytorch_model.fp16.safetensors
└───vae
        config.json
        diffusion_pytorch_model.fp16.safetensors

• （支持自动下载）下载 MimicMotionMergedUnet_1-1-fp16.safetensors 到目录 ComfyUI/models/mimicmotion
• （支持自动下载）下载 DWPose 中的以下文件到目录 ComfyUI/custom_nodes/comfyui-mimicmotionwrapper/models

\ComfyUI\custom_nodes\comfyui-mimicmotionwrapper\models
│   dw-ll_ucoco_384_bs5.torchscript.pt
│   yolox_l.torchscript.pt

使用

工作流下载地址 网盘地址

工作流组成：使用 DepthAnything 节点生成深度图；使用 Depthflow 节点生成视差动画；使用 VideoHelperSuite 合并帧，生成视频。

注意事项：

• 图片尺寸和视频尺寸宽高比最好一致，不一致可通过缩放节点进行调整
• 推荐尺寸 576*1024，其他尺寸需要被16整除
• 帧数建议 72 帧
• seed：纯色（0 1），其他（42 777 999）
• context_size：与 LoadVideo 中的帧数一致
• context_overlap：context_size 的一半，用于平滑视频
• 脸部会崩坏，可以连接换脸节点和脸部修复节点尝试解决

文章的最后，如果您觉得本文对您有用，请打赏一杯咖啡！感谢！