简要介绍
先稍微介绍一下instruct-pix2pix
instruct-pix2pix作者团队提出了一种通过人类自然语言指令编辑图像的方法。他们的模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像。作者团队使用两个预训练模型（一个是语言模型GPT-3, 另一个是文本到图像模型Stable Diffusion) 生成大量编辑图像的样例数据,然后基于这些数据训练出InstructPix2Pix模型，能够在推理过程中适用于真实图像和用户提供的指令。由于它在前向传播中执行编辑并且不需要对每个示例进行fine-tine或 inversion，模型仅需几秒钟就可快速完成图片的编辑
- 下载模型文件
https://huggingface.co/timbrooks/instruct-pix2pix/tree/main
下载模型文件到Stable-diffusion的模型文件夹下
- 安装扩展
https://github.com/Klace/stable-diffusion-webui-instruct-pix2pix
可以直接在Stable-diffusion-webui中的Extension选项中粘贴地址安装
