故事的开始总是那么的神秘和吸引人。想象一下，您可以使用另一个视频作为参考，生成一部充满流畅和时间一致性的视频，其中场景不断变化。这种奇妙的技术就是AnimateDiff Prompt Travel Video-to-video。
AnimateDiff Prompt Travel Video-to-video
在这篇文章中，我们将深入了解AnimateDiff Prompt Travel Video-to-video的背后技术，以及使用ComfyUI生成此类视频的逐步指南。
1. AnimateDiff Prompt Travel是如何工作的？
AnimateDiff通过使用任何Stable Diffusion模型生成具有惊人质量的运动视频。它利用运动控制模型来实现高时间一致性的运动。然而，这种运动是通用且有限的。
那么，如果我们：
- 使用AnimaeDiff以实现时间一致性
- 使用ControlNet来复制参考视频的运动
- 在不同时间点更改提示，以创建各种场景
这些就是AnimateDiff Prompt Travel Video-to-video的思路！它克服了AnimateDiff运动效果有限的问题，并与Deforum不同，保持了高帧与帧之间的一致性。
2. 软件设置
在我们深入指南之前，让我们确保您已经做好了软件设置。我们将使用ComfyUI来生成AnimateDiff Prompt Travel视频。如果您对ComfyUI还不熟悉，可以查看ComfyUI安装指南和初学者指南。
在开始教程之前，请确保您已经安装了ComfyUI Manager。
3. 创建AnimateDiff Prompt Travel视频的步骤
接下来，我们将逐步指导您如何使用ComfyUI创建AnimateDiff Prompt Travel视频。
步骤1：加载工作流文件
ComfyUI的一个很好的特点是分享工作流相对容易。整个工作流程在一个工作流JSON文件中指定。
将文件拖放到ComfyUI的浏览器页面中。
您应该会看到加载了视频到视频的工作流程。
步骤2：安装缺失节点
您可能需要安装一些缺失的节点，这些节点在此工作流中是必需的。这就是为什么需要ComfyUI Manager来帮助您识别它们。
点击ComfyUI Manager按钮。
然后点击“Install Missing Custom Nodes”。
重新启动ComfyUI，然后点击“Queue Prompt”。如果您不再看到ComfyUI关于缺失节点的投诉，那么您可以继续下一步。
您可能需要多次执行此步骤。
步骤3：选择检查点模型
下载Dreamshaper 8的检查点模型。将safetensors文件放入ComfyUI > models > checkpoints文件夹。
刷新浏览器选项卡。
找到“Load Checkpoint w/ Noise Select”节点。
点击ckpt_name下拉菜单，选择“dreamshaper_8.safetensors”。
当然，您也可以选择使用不同的模型。
步骤4：选择VAE
下载Stability AI发布的VAE。将文件放入ComfyUI > models > vae文件夹。
刷新浏览器页面。
在“Load VAE”节点中，选择刚刚下载的文件。
步骤5：选择AnimateDiff运动模块
下载AnimateDiff v1.5 v2运动模型。将其放入ComfyUI > custom_nodes > ComfyUI-AnimateDiff-Evolved > models文件夹。
刷新浏览器页面。
在AnimateDiff Loader节点中，选择model_name下拉菜单中的“mm_sd_v15_v2.ckpt”。
步骤6：选择Openpose ControlNet模型
下载Openpose ControlNet模型。将文件放入ComfyUI > models > controlnet文件夹。
刷新ComfyUI页面。
在“Load ControlNet Model (Advanced)”节点中，从下拉菜单中选择“control_v11p_sd15_openpose.pth”。
步骤7：上传参考视频
在“Load Video (Upload)”节点中，点击“video”并选择刚刚参考视频。
步骤8：生成视频
现在，我们终于可以生成视频了！点击“Queue Prompt”开始生成视频。
观察终端控制台以查看错误信息。
大部分时间都会在KSampler节点中度过。在终端控制台中应该有一个显示进度的进度条。
进度条完成后会消失，您将在AnimeDiff Combine节点中看到生成的视频。
4. 故障排除
如果需要进行故障排除，您可以检查中间阶段的输出图像。
- 在Image Upscaling节点后，您应该看到提取的视频帧。
- 在ControlNet区域附近，您应该看到提取的Openpose控制图像。
- 在输出视频上方，您应该看到所有输出视频的帧。您可以进一步处理这些图像，并将它们组合成一个视频。
5. 自定义
您可以根据自己的需求生成不同的视频。
- 更改种子值以生成不同的视频。
- 更改提示前缀和提示旅行以更改主题和背景。
6. 使用技巧
- 确保原始视频的人脸不要太小。工作流使用v1模型，v1模型的VAE尺寸为512×512像素，无法绘制太小的脸部。
-
如果必要，您可以调整视频的宽度和高度。
- 要加快渲染速度，可以减少视频输入框中的最大帧数（frame_load_cap）。尤其是在测试设置时，您希望限制它，以便不必等待太长时间。
- 您还可以通过将select_every_nth设置为大于1的值来跳过视频中的帧以加快渲染速度，但会以平滑度为代价。
- 不同的检查点模型可能效果不同。训练良好的模型与AnimateDiff一起工作效果更好。因此，如果您的模型不起作用，请尝试使用不同的模型。
- 由于AnimateDiff是针对特定数据集进行训练的，因此它可能无法理解提示中某些关键词的运动。如果看到奇怪的效果，请尝试确定哪些关键词引起了问题。
- 最好从一个非常简单的提示开始，根据需要添加内容。
- 您可以尝试使用其他ControlNets。使用OpenPose的好处是可以去除背景，只提取人体姿势。因此，背景可以受提示的影响。
- 另一方面，使用线条艺术将提取主体和背景的线条。因此，在视频的样式上使用线条艺术。通过提示添加新元素可能并不容易。
7. 总结
通过AnimateDiff Prompt Travel Video-to-video技术，您可以创造出令人惊叹的视频，充满了流畅和时间一致性。无论您是想制作创意视频还是探索视觉创新，这项技术都为您提供了无限可能性。
希望这篇文章对您在使用AnimateDiff Prompt Travel技术方面提供了有用的指南。现在，尽情发挥创造力，创造出令人瞩目的视频吧！
