遮罩智能分割插件 SegmentAnything2
功能介绍
基于 GroundingDino 和 SAM2,使用语义字符串来分割图像中的任何元素,自动化生成遮罩。
安装插件
使用插件管理器安装,安装插件,重启应用。
模型下载
模型均在使用到的时候会自动下载。以下所有模型的下载地址见 官方文档
BERT Base Uncased 手动下载模型,放置到
ComfyUI\models\bert-base-uncased\
。自动下载会放到 HuggingFace_HOME 下,默认是 ~.cache\huggingface\hub\models--bert-base-uncased\GroundingDino 手动下载模型和配置文件,放置到
ComfyUI\models\grounding-dino\
(不要修改文件名称),测试下来GroundingDINO_SwinB
模型要比GroundingDINO_SwinT_OGC
更准确SAM 2 手动下载模型和配置文件,放置到
ComfyUI\models\sam2\
(不要修改文件名称)
开始使用
核心节点:GroundingDinoSAM2Segment
。核心参数如下
- sam_model:sam2 模型
- grounding_dino_model:groundingDino 模型
- image:待处理图像
- prompt:要分离的物体的提示语,例如,hand
- threshold:阈值,默认0.3
问题修复
如果出现问题 axes don't match array
,修复方式见 issue,将 ComfyUI-SAM2/sam2/sam2_image_predictor.py
中的所有 squeeze(0)
删除即可
文章的最后,如果您觉得本文对您有用,请打赏一杯咖啡!感谢!
