故事的开始总是那么的神秘和吸引人。想象一下,您可以使用另一个视频作为参考,生成一部充满流畅和时间一致性的视频,其中场景不断变化。这种奇妙的技术就是AnimateDiff Prompt Travel Video-to-video。
在这篇文章中,我们将深入了解AnimateDiff Prompt Travel Video-to-video的背后技术,以及使用ComfyUI生成此类视频的逐步指南。
1. AnimateDiff Prompt Travel是如何工作的?
AnimateDiff通过使用任何Stable Diffusion模型生成具有惊人质量的运动视频。它利用运动控制模型来实现高时间一致性的运动。然而,这种运动是通用且有限的。
那么,如果我们:
- 使用AnimaeDiff以实现时间一致性
- 使用ControlNet来复制参考视频的运动
- 在不同时间点更改提示,以创建各种场景
这些就是AnimateDiff Prompt Travel Video-to-video的思路!它克服了AnimateDiff运动效果有限的问题,并与Deforum不同,保持了高帧与帧之间的一致性。
2. 软件设置
在我们深入指南之前,让我们确保您已经做好了软件设置。我们将使用ComfyUI来生成AnimateDiff Prompt Travel视频。如果您对ComfyUI还不熟悉,可以查看ComfyUI安装指南和初学者指南。
在开始教程之前,请确保您已经安装了ComfyUI Manager。
3. 创建AnimateDiff Prompt Travel视频的步骤
接下来,我们将逐步指导您如何使用ComfyUI创建AnimateDiff Prompt Travel视频。
步骤1:加载工作流文件
ComfyUI的一个很好的特点是分享工作流相对容易。整个工作流程在一个工作流JSON文件中指定。
将文件拖放到ComfyUI的浏览器页面中。
您应该会看到加载了视频到视频的工作流程。
步骤2:安装缺失节点
您可能需要安装一些缺失的节点,这些节点在此工作流中是必需的。这就是为什么需要ComfyUI Manager来帮助您识别它们。
点击ComfyUI Manager按钮。
然后点击“Install Missing Custom Nodes”。
重新启动ComfyUI,然后点击“Queue Prompt”。如果您不再看到ComfyUI关于缺失节点的投诉,那么您可以继续下一步。
您可能需要多次执行此步骤。
步骤3:选择检查点模型
下载Dreamshaper 8的检查点模型。将safetensors文件放入ComfyUI > models > checkpoints文件夹。
刷新浏览器选项卡。
找到“Load Checkpoint w/ Noise Select”节点。
点击ckpt_name下拉菜单,选择“dreamshaper_8.safetensors”。
当然,您也可以选择使用不同的模型。
步骤4:选择VAE
下载Stability AI发布的VAE。将文件放入ComfyUI > models > vae文件夹。
刷新浏览器页面。
在“Load VAE”节点中,选择刚刚下载的文件。
步骤5:选择AnimateDiff运动模块
下载AnimateDiff v1.5 v2运动模型。将其放入ComfyUI > custom_nodes > ComfyUI-AnimateDiff-Evolved > models文件夹。
刷新浏览器页面。
在AnimateDiff Loader节点中,选择model_name下拉菜单中的“mm_sd_v15_v2.ckpt”。
步骤6:选择Openpose ControlNet模型
下载Openpose ControlNet模型。将文件放入ComfyUI > models > controlnet文件夹。
刷新ComfyUI页面。
在“Load ControlNet Model (Advanced)”节点中,从下拉菜单中选择“control_v11p_sd15_openpose.pth”。
步骤7:上传参考视频
在“Load Video (Upload)”节点中,点击“video”并选择刚刚参考视频。
步骤8:生成视频
现在,我们终于可以生成视频了!点击“Queue Prompt”开始生成视频。
观察终端控制台以查看错误信息。
大部分时间都会在KSampler节点中度过。在终端控制台中应该有一个显示进度的进度条。
进度条完成后会消失,您将在AnimeDiff Combine节点中看到生成的视频。
4. 故障排除
如果需要进行故障排除,您可以检查中间阶段的输出图像。
- 在Image Upscaling节点后,您应该看到提取的视频帧。
- 在ControlNet区域附近,您应该看到提取的Openpose控制图像。
- 在输出视频上方,您应该看到所有输出视频的帧。您可以进一步处理这些图像,并将它们组合成一个视频。
5. 自定义
您可以根据自己的需求生成不同的视频。
- 更改种子值以生成不同的视频。
- 更改提示前缀和提示旅行以更改主题和背景。
6. 使用技巧
- 确保原始视频的人脸不要太小。工作流使用v1模型,v1模型的VAE尺寸为512×512像素,无法绘制太小的脸部。
-
如果必要,您可以调整视频的宽度和高度。
- 要加快渲染速度,可以减少视频输入框中的最大帧数(frame_load_cap)。尤其是在测试设置时,您希望限制它,以便不必等待太长时间。
- 您还可以通过将select_every_nth设置为大于1的值来跳过视频中的帧以加快渲染速度,但会以平滑度为代价。
- 不同的检查点模型可能效果不同。训练良好的模型与AnimateDiff一起工作效果更好。因此,如果您的模型不起作用,请尝试使用不同的模型。
- 由于AnimateDiff是针对特定数据集进行训练的,因此它可能无法理解提示中某些关键词的运动。如果看到奇怪的效果,请尝试确定哪些关键词引起了问题。
- 最好从一个非常简单的提示开始,根据需要添加内容。
- 您可以尝试使用其他ControlNets。使用OpenPose的好处是可以去除背景,只提取人体姿势。因此,背景可以受提示的影响。
- 另一方面,使用线条艺术将提取主体和背景的线条。因此,在视频的样式上使用线条艺术。通过提示添加新元素可能并不容易。
7. 总结
通过AnimateDiff Prompt Travel Video-to-video技术,您可以创造出令人惊叹的视频,充满了流畅和时间一致性。无论您是想制作创意视频还是探索视觉创新,这项技术都为您提供了无限可能性。
希望这篇文章对您在使用AnimateDiff Prompt Travel技术方面提供了有用的指南。现在,尽情发挥创造力,创造出令人瞩目的视频吧!
未经允许不得转载:大神网 » 创造流畅视频:AnimateDiff Prompt Travel Video-to-video技术详解与实践指南