欢迎来到"Drag Your GAN"项目,这是一个令人兴奋的工具,它让你可以与生成式对抗网络(GAN)互动,实现对生成图像的点操作。这个项目由一群顶尖的研究人员共同开发,包括Xingang Pan、Ayush Tewari、Thomas Leimkühler、Lingjie Liu、Abhimitra Meka和Christian Theobalt。本项目旨在让你能够以交互方式编辑和操作生成的图像,从而创造出令人惊叹的视觉效果。
SIGGRAPH 2023 会议论文
"Drag Your GAN"项目将在SIGGRAPH 2023会议论文中首次亮相。这是一个备受期待的研究成果,你可以在这里找到详细的研究论文。
项目特点
- 交互式编辑:你可以通过点击和拖拽的方式编辑生成的图像,实现点操作,从而创造独特的视觉效果。
如何开始
环境配置
如果你拥有CUDA显卡,请按照NVlabs/stylegan3的要求进行环境配置。一般的安装步骤包括以下命令,它们将设置正确的CUDA版本和所有Python包:
conda env create -f environment.yml
conda activate stylegan3
然后安装额外的要求:
pip install -r requirements.txt
如果你没有CUDA显卡(例如,在MacOS上使用Silicon Mac M1/M2或仅使用CPU),请尝试以下命令:
cat environment.yml | \
grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \
conda env create -f environment-no-nvidia.yml
conda activate stylegan3
# 在MacOS上
export PYTORCH_ENABLE_MPS_FALLBACK=1
运行DragGAN GUI
要启动DragGAN GUI,只需运行以下命令:
sh scripts/gui.sh
如果你使用的是Windows,可以运行以下命令:
.\scripts\gui.bat
这个GUI支持编辑GAN生成的图像。如果你要编辑真实图像,首先需要使用类似PTI的工具进行GAN反演。然后将新的潜在代码和模型权重加载到GUI中。
你也可以运行DragGAN Gradio演示,这对于Windows和Linux都是通用的:
python visualizer_drag_gradio.py
下载预训练的StyleGAN2权重
要下载预训练的权重,只需运行以下命令:
python scripts/download_model.py
如果你想尝试StyleGAN-Human和Landscapes HQ(LHQ)数据集,请从以下链接下载权重:StyleGAN-Human,LHQ,然后将它们放在./checkpoints
目录下。
许可和引用
与DragGAN算法相关的代码根据CC-BY-NC许可进行许可。然而,项目的大部分内容都按照Nvidia Source Code License的独立许可条款提供。
任何形式的使用和衍生作品必须保留显示“AI Generated”的水印功能。
参考文献
如果你使用了这个项目,请引用以下BibTeX条目:
@inproceedings{pan2023draggan,
title={Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold},
author={Pan, Xingang and Tewari, Ayush, and Leimk{\"u}hler, Thomas and Liu, Lingjie and Meka, Abhimitra and Theobalt, Christian},
booktitle = {ACM SIGGRAPH 2023 Conference Proceedings},
year={2023}
}
相关链接
这就是"Drag Your GAN"项目的简介,希望你会喜欢它并尽情探索这个强大的生成图像操作工具!