数字时代带来了许多令人兴奋的可能性,人工智能技术正以前所未有的速度不断进步。其中之一就是Segment Anything(简称SAM)扩展,它旨在将AUTOMATIC1111 Stable Diffusion WebUI和Mikubill ControlNet扩展连接起来,以提升Stable Diffusion/ControlNet图像修复和语义分割的能力,自动化图像抠图,并创建LoRA/LyCORIS训练数据集。
在这篇教程中,我们将深入探讨如何使用SAM扩展,将图像分割、修复、语义分割以及GroundingDINO等功能结合起来,以实现更出色的图像处理。如果您对数字图像处理充满兴趣,那么这篇教程将为您提供有力的工具和知识。
步骤1:安装SAM扩展
首先,让我们来安装SAM扩展,以便开始我们的图像增强之旅。请按照以下步骤进行:
-
下载SAM扩展并将其放置在
${sd-webui}/extensions
目录中,您可以使用git clone
或从WebUI中安装。 -
选择一个或多个模型并将它们放在
${sd-webui}/models/sam
或${sd-webui-segment-anything}/models/sam
目录中。请注意不要更改模型的名称,否则可能会由于一个错误而导致扩展无法正常工作。
我们支持几种不同的分割模型,包括来自Meta AI的SAM、SysCV的SAM-HQ以及Kyung Hee University的MobileSAM。您可以根据需要选择合适的模型。
步骤2:使用SAM增强单图像
现在,让我们开始使用SAM来增强单个图像。您可以按照以下步骤操作:
-
上传您的图像。
-
可选地在图像上添加点提示。左键单击表示正面提示(黑点),右键单击表示负面提示(红点),再次左键单击任何点以取消提示。如果您不希望使用GroundingDINO,请添加点提示。
-
可选地启用GroundingDINO,选择您想要的GroundingDINO模型,编写文本提示(使用.分隔不同的类别),并选择一个边界框阈值(我强烈建议使用默认设置,较高的阈值可能导致没有边界框)。如果您不希望使用点提示,请编写文本提示。
-
可选地启用GroundingDINO边界框预览,并单击“生成边界框”。如果您想要预览边界框,必须编写文本提示。在看到带有左上角数字标记的框后,取消选中您不想要的所有框。如果您取消选中所有框,您将需要添加点提示以生成蒙版。
-
单击“预览分割”按钮。由于SAM的限制,如果存在多个边界框,当生成蒙版时,您的点提示将不起作用。
-
选择您喜欢的分割。
-
可选地启用“扩展蒙版”并指定数量,然后单击“更新蒙版”。
-
[非常重要] 更新您的ControlNet设置,确保在ControlNet设置中启用“允许其他脚本控制此扩展(必须)”。
步骤3:批处理图像
如果您想要一次处理多个图像,SAM也提供了批处理功能。请按照以下步骤操作:
-
选择您的SAM模型、GroundingDINO模型、文本提示、边界框阈值和蒙版扩展量。
-
输入图像的源目录和目标目录。
-
选择“每个图像输出”以配置每个边界框的蒙版数量。我强烈建议选择3,因为某些蒙版可能会很奇怪。
-
单击/取消选中多个复选框以配置您希望保存的图像类型。查看演示,了解这些复选框代表的图像类型。
-
单击“开始批处理”并等待。如果在此按钮下方看到“完成”,则一切准备就绪。
步骤4:使用AutoSAM自动增强语义分割
AutoSAM是SAM的自动语义分割功能,它可以显著提升语义分割的质量。让我们来看看如何使用AutoSAM:
-
首先,安装并更新Mikubill ControlNet扩展,因为AutoSAM需要与其一起使用。
-
配置AutoSAM可调参数,根据此处的描述。
-
在ControlNet中选择预处理器。
-
单击“启用”,选择预处理器为“inpaint_global_harmonious”,模型选择“control_v11p_sd15_inpaint [ebff9138]”。
-
写入您的提示,配置A1111面板并单击“生成”。
结论
通过SAM扩展的强大功能,我们可以轻松地增强图像的分割、修复和语义分割,实现了更高级的图像处理。无论您是个人用户还是专业图像处理人员,SAM扩展都为您提供了无限的创造力和可能性。
这只是SAM扩展的一小部分功能,您可以根据自己的需求和创意进一步探索,例如图像布局生成、按类别生成蒙版等。希望这个教程能够帮助您入门,并激发您的创造力。愿您在使用SAM扩展时取得巨大成功!
以上就是关于如何使用Segment Anything增强Stable Diffusion WebUI的完整教程,希望对您有所帮助。如果您对数字图像处理和人工智能感兴趣,这将是一个令人兴奋的冒险,愿您享受其中的乐趣和成就!