数字时代带来了许多令人兴奋的可能性，人工智能技术正以前所未有的速度不断进步。其中之一就是Segment Anything（简称SAM）扩展，它旨在将AUTOMATIC1111 Stable Diffusion WebUI和Mikubill ControlNet扩展连接起来，以提升Stable Diffusion/ControlNet图像修复和语义分割的能力，自动化图像抠图，并创建LoRA/LyCORIS训练数据集。
在这篇教程中，我们将深入探讨如何使用SAM扩展，将图像分割、修复、语义分割以及GroundingDINO等功能结合起来，以实现更出色的图像处理。如果您对数字图像处理充满兴趣，那么这篇教程将为您提供有力的工具和知识。
步骤1：安装SAM扩展
首先，让我们来安装SAM扩展，以便开始我们的图像增强之旅。请按照以下步骤进行：
-
下载SAM扩展并将其放置在
${sd-webui}/extensions目录中，您可以使用git clone或从WebUI中安装。 -
选择一个或多个模型并将它们放在
${sd-webui}/models/sam或${sd-webui-segment-anything}/models/sam目录中。请注意不要更改模型的名称，否则可能会由于一个错误而导致扩展无法正常工作。
我们支持几种不同的分割模型，包括来自Meta AI的SAM、SysCV的SAM-HQ以及Kyung Hee University的MobileSAM。您可以根据需要选择合适的模型。
步骤2：使用SAM增强单图像
现在，让我们开始使用SAM来增强单个图像。您可以按照以下步骤操作：
-
上传您的图像。
-
可选地在图像上添加点提示。左键单击表示正面提示（黑点），右键单击表示负面提示（红点），再次左键单击任何点以取消提示。如果您不希望使用GroundingDINO，请添加点提示。
-
可选地启用GroundingDINO，选择您想要的GroundingDINO模型，编写文本提示（使用.分隔不同的类别），并选择一个边界框阈值（我强烈建议使用默认设置，较高的阈值可能导致没有边界框）。如果您不希望使用点提示，请编写文本提示。
-
可选地启用GroundingDINO边界框预览，并单击“生成边界框”。如果您想要预览边界框，必须编写文本提示。在看到带有左上角数字标记的框后，取消选中您不想要的所有框。如果您取消选中所有框，您将需要添加点提示以生成蒙版。
-
单击“预览分割”按钮。由于SAM的限制，如果存在多个边界框，当生成蒙版时，您的点提示将不起作用。
-
选择您喜欢的分割。
-
可选地启用“扩展蒙版”并指定数量，然后单击“更新蒙版”。
-
[非常重要] 更新您的ControlNet设置，确保在ControlNet设置中启用“允许其他脚本控制此扩展（必须）”。
步骤3：批处理图像
如果您想要一次处理多个图像，SAM也提供了批处理功能。请按照以下步骤操作：
-
选择您的SAM模型、GroundingDINO模型、文本提示、边界框阈值和蒙版扩展量。
-
输入图像的源目录和目标目录。
-
选择“每个图像输出”以配置每个边界框的蒙版数量。我强烈建议选择3，因为某些蒙版可能会很奇怪。
-
单击/取消选中多个复选框以配置您希望保存的图像类型。查看演示，了解这些复选框代表的图像类型。
-
单击“开始批处理”并等待。如果在此按钮下方看到“完成”，则一切准备就绪。
步骤4：使用AutoSAM自动增强语义分割
AutoSAM是SAM的自动语义分割功能，它可以显著提升语义分割的质量。让我们来看看如何使用AutoSAM：
-
首先，安装并更新Mikubill ControlNet扩展，因为AutoSAM需要与其一起使用。
-
配置AutoSAM可调参数，根据此处的描述。
-
在ControlNet中选择预处理器。
-
单击“启用”，选择预处理器为“inpaint_global_harmonious”，模型选择“control_v11p_sd15_inpaint [ebff9138]”。
-
写入您的提示，配置A1111面板并单击“生成”。
结论
通过SAM扩展的强大功能，我们可以轻松地增强图像的分割、修复和语义分割，实现了更高级的图像处理。无论您是个人用户还是专业图像处理人员，SAM扩展都为您提供了无限的创造力和可能性。
这只是SAM扩展的一小部分功能，您可以根据自己的需求和创意进一步探索，例如图像布局生成、按类别生成蒙版等。希望这个教程能够帮助您入门，并激发您的创造力。愿您在使用SAM扩展时取得巨大成功！
以上就是关于如何使用Segment Anything增强Stable Diffusion WebUI的完整教程，希望对您有所帮助。如果您对数字图像处理和人工智能感兴趣，这将是一个令人兴奋的冒险，愿您享受其中的乐趣和成就！
微信扫一扫 