微信关注,获取更多

创造流畅视频:AnimateDiff Prompt Travel Video-to-video技术详解与实践指南

故事的开始总是那么的神秘和吸引人。想象一下,您可以使用另一个视频作为参考,生成一部充满流畅和时间一致性的视频,其中场景不断变化。这种奇妙的技术就是AnimateDiff Prompt Travel Video-to-video。

AnimateDiff Prompt Travel Video-to-video

AnimateDiff Prompt Travel Video-to-video

在这篇文章中,我们将深入了解AnimateDiff Prompt Travel Video-to-video的背后技术,以及使用ComfyUI生成此类视频的逐步指南。

1. AnimateDiff Prompt Travel是如何工作的?

AnimateDiff通过使用任何Stable Diffusion模型生成具有惊人质量的运动视频。它利用运动控制模型来实现高时间一致性的运动。然而,这种运动是通用且有限的。

那么,如果我们:

  • 使用AnimaeDiff以实现时间一致性
  • 使用ControlNet来复制参考视频的运动
  • 在不同时间点更改提示,以创建各种场景

这些就是AnimateDiff Prompt Travel Video-to-video的思路!它克服了AnimateDiff运动效果有限的问题,并与Deforum不同,保持了高帧与帧之间的一致性。

2. 软件设置

在我们深入指南之前,让我们确保您已经做好了软件设置。我们将使用ComfyUI来生成AnimateDiff Prompt Travel视频。如果您对ComfyUI还不熟悉,可以查看ComfyUI安装指南和初学者指南。

在开始教程之前,请确保您已经安装了ComfyUI Manager。

3. 创建AnimateDiff Prompt Travel视频的步骤

接下来,我们将逐步指导您如何使用ComfyUI创建AnimateDiff Prompt Travel视频。

步骤1:加载工作流文件

ComfyUI的一个很好的特点是分享工作流相对容易。整个工作流程在一个工作流JSON文件中指定。

将文件拖放到ComfyUI的浏览器页面中。

您应该会看到加载了视频到视频的工作流程。

步骤2:安装缺失节点

您可能需要安装一些缺失的节点,这些节点在此工作流中是必需的。这就是为什么需要ComfyUI Manager来帮助您识别它们。

点击ComfyUI Manager按钮。

然后点击“Install Missing Custom Nodes”。

重新启动ComfyUI,然后点击“Queue Prompt”。如果您不再看到ComfyUI关于缺失节点的投诉,那么您可以继续下一步。

您可能需要多次执行此步骤。

步骤3:选择检查点模型

下载Dreamshaper 8的检查点模型。将safetensors文件放入ComfyUI > models > checkpoints文件夹。

刷新浏览器选项卡。

找到“Load Checkpoint w/ Noise Select”节点。

点击ckpt_name下拉菜单,选择“dreamshaper_8.safetensors”。

当然,您也可以选择使用不同的模型。

步骤4:选择VAE

下载Stability AI发布的VAE。将文件放入ComfyUI > models > vae文件夹。

刷新浏览器页面。

在“Load VAE”节点中,选择刚刚下载的文件。

步骤5:选择AnimateDiff运动模块

下载AnimateDiff v1.5 v2运动模型。将其放入ComfyUI > custom_nodes > ComfyUI-AnimateDiff-Evolved > models文件夹。

刷新浏览器页面。

在AnimateDiff Loader节点中,选择model_name下拉菜单中的“mm_sd_v15_v2.ckpt”。

步骤6:选择Openpose ControlNet模型

下载Openpose ControlNet模型。将文件放入ComfyUI > models > controlnet文件夹。

刷新ComfyUI页面。

在“Load ControlNet Model (Advanced)”节点中,从下拉菜单中选择“control_v11p_sd15_openpose.pth”。

步骤7:上传参考视频

在“Load Video (Upload)”节点中,点击“video”并选择刚刚参考视频。

步骤8:生成视频

现在,我们终于可以生成视频了!点击“Queue Prompt”开始生成视频。

观察终端控制台以查看错误信息。

大部分时间都会在KSampler节点中度过。在终端控制台中应该有一个显示进度的进度条。

进度条完成后会消失,您将在AnimeDiff Combine节点中看到生成的视频。

4. 故障排除

如果需要进行故障排除,您可以检查中间阶段的输出图像。

  • 在Image Upscaling节点后,您应该看到提取的视频帧。
  • 在ControlNet区域附近,您应该看到提取的Openpose控制图像。
  • 在输出视频上方,您应该看到所有输出视频的帧。您可以进一步处理这些图像,并将它们组合成一个视频。

5. 自定义

您可以根据自己的需求生成不同的视频。

  • 更改种子值以生成不同的视频。
  • 更改提示前缀和提示旅行以更改主题和背景。

6. 使用技巧

  • 确保原始视频的人脸不要太小。工作流使用v1模型,v1模型的VAE尺寸为512×512像素,无法绘制太小的脸部。
  • 如果必要,您可以调整视频的宽度和高度。

  • 要加快渲染速度,可以减少视频输入框中的最大帧数(frame_load_cap)。尤其是在测试设置时,您希望限制它,以便不必等待太长时间。
  • 您还可以通过将select_every_nth设置为大于1的值来跳过视频中的帧以加快渲染速度,但会以平滑度为代价。
  • 不同的检查点模型可能效果不同。训练良好的模型与AnimateDiff一起工作效果更好。因此,如果您的模型不起作用,请尝试使用不同的模型。
  • 由于AnimateDiff是针对特定数据集进行训练的,因此它可能无法理解提示中某些关键词的运动。如果看到奇怪的效果,请尝试确定哪些关键词引起了问题。
  • 最好从一个非常简单的提示开始,根据需要添加内容。
  • 您可以尝试使用其他ControlNets。使用OpenPose的好处是可以去除背景,只提取人体姿势。因此,背景可以受提示的影响。
  • 另一方面,使用线条艺术将提取主体和背景的线条。因此,在视频的样式上使用线条艺术。通过提示添加新元素可能并不容易。

7. 总结

通过AnimateDiff Prompt Travel Video-to-video技术,您可以创造出令人惊叹的视频,充满了流畅和时间一致性。无论您是想制作创意视频还是探索视觉创新,这项技术都为您提供了无限可能性。

希望这篇文章对您在使用AnimateDiff Prompt Travel技术方面提供了有用的指南。现在,尽情发挥创造力,创造出令人瞩目的视频吧!

未经允许不得转载:大神网 » 创造流畅视频:AnimateDiff Prompt Travel Video-to-video技术详解与实践指南

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏