数字人插件 Sonic

官方文档

https://github.com/smthemex/ComfyUI_Sonic

https://github.com/jixiaozhong/Sonic

功能介绍

给定一张图片 + 给定一段音频，产出根据音频驱动图片动起来的视频

安装插件

使用插件管理器安装，安装插件，重启应用。

模型下载

1. 从 此处 下载模型
2. 从 此处 下载所需的模型和文件
3. 从 此处 下载 svd_xt_1_1.safetensors 模型

下载的模型按照如下目录放置：

-- ComfyUI/models/sonic/
|-- audio2bucket.pth
|-- audio2token.pth
|-- unet.pth
|-- yoloface_v5m.pt
|-- whisper-tiny/
|---- config.json
|---- model.safetensors
|---- preprocessor_config.json
|-- RIFE/
|---- flownet.pkl
-- ComfyUI/models/checkpoints
|-- svd_xt_1_1.safetensors

开始使用

如需获取工作流下载地址，请先关注本公众号，之后回复 sonic 即可获取。

工作流下载地址:网盘

核心节点：SONICSampler。核心参数如下

• inference_steps：推理步数，默认 25
• fps：每秒多少帧，默认 25

核心节点：SONICLoader。核心参数如下

• sonic_unet：加载 unet 模型
• ip_audio_scale：todo
• use_interframe：todo

核心节点：SONICPreData。核心参数如下

• min_resolution：如果给与的图片太大，会将宽高里的最小边切成 min_resolution 大小，另一边等比例缩小。
• duration：视频时长（截取音频的长度）
• expand_ratio：todo

文章的最后，如果您觉得本文对您有用，请打赏一杯咖啡！感谢！