Skip to content

遮罩智能分割插件 SegmentAnything2

功能介绍

基于 GroundingDino 和 SAM2,使用语义字符串来分割图像中的任何元素,自动化生成遮罩。

安装插件

使用插件管理器安装,安装插件,重启应用。

img.png

模型下载

模型均在使用到的时候会自动下载。以下所有模型的下载地址见 官方文档

  • BERT Base Uncased 手动下载模型,放置到 ComfyUI\models\bert-base-uncased\。自动下载会放到 HuggingFace_HOME 下,默认是 ~.cache\huggingface\hub\models--bert-base-uncased\

  • GroundingDino 手动下载模型和配置文件,放置到 ComfyUI\models\grounding-dino\(不要修改文件名称),测试下来 GroundingDINO_SwinB 模型要比 GroundingDINO_SwinT_OGC 更准确

  • SAM 2 手动下载模型和配置文件,放置到 ComfyUI\models\sam2\(不要修改文件名称)

开始使用

img.png

核心节点:GroundingDinoSAM2Segment。核心参数如下

  • sam_model:sam2 模型
  • grounding_dino_model:groundingDino 模型
  • image:待处理图像
  • prompt:要分离的物体的提示语,例如,hand
  • threshold:阈值,默认0.3

问题修复

如果出现问题 axes don't match array,修复方式见 issue,将 ComfyUI-SAM2/sam2/sam2_image_predictor.py 中的所有 squeeze(0) 删除即可

文章的最后,如果您觉得本文对您有用,请打赏一杯咖啡!感谢!