使用Segment Anything增强Stable Diffusion WebUI的完整教程

数字时代带来了许多令人兴奋的可能性,人工智能技术正以前所未有的速度不断进步。其中之一就是Segment Anything(简称SAM)扩展,它旨在将AUTOMATIC1111 Stable Diffusion WebUI和Mikubill ControlNet扩展连接起来,以提升Stable Diffusion/ControlNet图像修复和语义分割的能力,自动化图像抠图,并创建LoRA/LyCORIS训练数据集。

使用Segment Anything增强Stable Diffusion WebUI的完整教程

在这篇教程中,我们将深入探讨如何使用SAM扩展,将图像分割、修复、语义分割以及GroundingDINO等功能结合起来,以实现更出色的图像处理。如果您对数字图像处理充满兴趣,那么这篇教程将为您提供有力的工具和知识。

使用Segment Anything增强Stable Diffusion WebUI的完整教程

步骤1:安装SAM扩展

首先,让我们来安装SAM扩展,以便开始我们的图像增强之旅。请按照以下步骤进行:

  1. 下载SAM扩展并将其放置在${sd-webui}/extensions目录中,您可以使用git clone或从WebUI中安装。

  2. 选择一个或多个模型并将它们放在${sd-webui}/models/sam${sd-webui-segment-anything}/models/sam目录中。请注意不要更改模型的名称,否则可能会由于一个错误而导致扩展无法正常工作。

我们支持几种不同的分割模型,包括来自Meta AI的SAM、SysCV的SAM-HQ以及Kyung Hee University的MobileSAM。您可以根据需要选择合适的模型。

步骤2:使用SAM增强单图像

现在,让我们开始使用SAM来增强单个图像。您可以按照以下步骤操作:

  1. 上传您的图像。

  2. 可选地在图像上添加点提示。左键单击表示正面提示(黑点),右键单击表示负面提示(红点),再次左键单击任何点以取消提示。如果您不希望使用GroundingDINO,请添加点提示。

  3. 可选地启用GroundingDINO,选择您想要的GroundingDINO模型,编写文本提示(使用.分隔不同的类别),并选择一个边界框阈值(我强烈建议使用默认设置,较高的阈值可能导致没有边界框)。如果您不希望使用点提示,请编写文本提示。

  4. 可选地启用GroundingDINO边界框预览,并单击“生成边界框”。如果您想要预览边界框,必须编写文本提示。在看到带有左上角数字标记的框后,取消选中您不想要的所有框。如果您取消选中所有框,您将需要添加点提示以生成蒙版。

  5. 单击“预览分割”按钮。由于SAM的限制,如果存在多个边界框,当生成蒙版时,您的点提示将不起作用。

  6. 选择您喜欢的分割。

  7. 可选地启用“扩展蒙版”并指定数量,然后单击“更新蒙版”。

  8. [非常重要] 更新您的ControlNet设置,确保在ControlNet设置中启用“允许其他脚本控制此扩展(必须)”。

步骤3:批处理图像

如果您想要一次处理多个图像,SAM也提供了批处理功能。请按照以下步骤操作:

  1. 选择您的SAM模型、GroundingDINO模型、文本提示、边界框阈值和蒙版扩展量。

  2. 输入图像的源目录和目标目录。

  3. 选择“每个图像输出”以配置每个边界框的蒙版数量。我强烈建议选择3,因为某些蒙版可能会很奇怪。

  4. 单击/取消选中多个复选框以配置您希望保存的图像类型。查看演示,了解这些复选框代表的图像类型。

  5. 单击“开始批处理”并等待。如果在此按钮下方看到“完成”,则一切准备就绪。

步骤4:使用AutoSAM自动增强语义分割

AutoSAM是SAM的自动语义分割功能,它可以显著提升语义分割的质量。让我们来看看如何使用AutoSAM:

  1. 首先,安装并更新Mikubill ControlNet扩展,因为AutoSAM需要与其一起使用。

  2. 配置AutoSAM可调参数,根据此处的描述

  3. 在ControlNet中选择预处理器。

  4. 单击“启用”,选择预处理器为“inpaint_global_harmonious”,模型选择“control_v11p_sd15_inpaint [ebff9138]”。

  5. 写入您的提示,配置A1111面板并单击“生成”。

结论

通过SAM扩展的强大功能,我们可以轻松地增强图像的分割、修复和语义分割,实现了更高级的图像处理。无论您是个人用户还是专业图像处理人员,SAM扩展都为您提供了无限的创造力和可能性。

这只是SAM扩展的一小部分功能,您可以根据自己的需求和创意进一步探索,例如图像布局生成、按类别生成蒙版等。希望这个教程能够帮助您入门,并激发您的创造力。愿您在使用SAM扩展时取得巨大成功!

以上就是关于如何使用Segment Anything增强Stable Diffusion WebUI的完整教程,希望对您有所帮助。如果您对数字图像处理和人工智能感兴趣,这将是一个令人兴奋的冒险,愿您享受其中的乐趣和成就!

声明:本站所有文章,如无特殊说明或标注,均为本站(王大神)原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
指数词

用SadTalker实现音频驱动的单图像表情生成教程

2023-10-29 14:43:40

指数词

Deforum Stable Diffusion WebUI — 官方扩展教程

2023-10-29 14:50:48

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索