使用 AnimateDiff 和 SDXL 制作酷炫 AI 视频

使用 AnimateDiff 和 SDXL 制作酷炫 AI 视频的详细步骤

要使用 AnimateDiff 和 SDXL（Stable Diffusion XL）制作酷炫的 AI 视频，你需要遵循一系列详细的步骤来设置工作流并生成视频。以下是完整的指南：

一、安装过程

1. 安装 ComfyUI：

   首先，你需要将 ComfyUI 安装到你的计算机上。ComfyUI 是一个用户友好的 Web 界面，用于管理和运行各种 AI 模型。

2. 更新 ComfyUI 并安装 AnimateDiff：

   使用 ComfyUI Manager 更新你的 ComfyUI，选择“更新所有”。

   接下来，搜索“AnimateDiff Evolved”节点，并确保作者是 Kosinkadink。点击“安装”按钮进行安装。

3. 安装 IP adapter 批处理展开工作流：

   从 CivitAI 文章中下载“IP adapter batch unfold for SDXL”工作流，由 Inner Reflections 提供。

   将下载的工作流文件直接拖放到 ComfyUI 中。

4. 安装缺失的自定义节点：

   如果你第一次打开这个工作流，可能会遇到缺失节点的错误。

   使用 ComfyUI Manager，从“管理器”选项卡中进入，选择“安装缺失的自定义节点”。

   逐个点击列表中的“安装”按钮，安装所有自定义节点。

5. 重启 ComfyUI：

   完成安装后，点击“重启”按钮，重启 ComfyUI 以使更改生效。

二、下载并配置模型

1. 下载模型检查点：

   在 CivitAI 上下载所需的 SDXL 模型检查点，例如 ProtoVision XL。

   将下载的检查点文件保存在“ComfyUImodelscheckpoints”文件夹中。

2. 下载 SDXL 变换自动编码器：

   从 Hugging Face 仓库下载“sdxl_vae.safetensors”文件。

   将下载的文件放置在“ComfyUImodelsvae”文件夹中。

3. 下载 IP Adapter Plus 模型：

   下载与 SDXL 检查点相匹配的 IP Adapter Plus 模型，例如“ip-adapter-plus_sdxl_vit-h.safetensors”。

   将下载的文件放置在“ComfyUImodelsipadapter”文件夹中。

4. 下载 SDXL 图像编码器：

   从 Hugging Face 仓库下载 SDXL 图像编码器。

   将下载的文件重命名为“image_encoder.safetensors”，并保存到“ComfyUImodelsclip_vision”文件夹中。

5. 下载 Text2Image ControlNet 模型：

   从 Hugging Face 仓库下载 Text2Image ControlNet 模型的两个版本：“diffusion_pytorch_model.fp16.safetensors”（用于更快的渲染但质量较低）和“diffusion_pytorch_model.safetensors”（用于更高质量但渲染速度较慢）。

   将这两个模型文件放入“ComfyUImodelscontrolnet”文件夹中。

6. 下载 Hotshotco 模型：

   从 Hotshotco 的 Hugging Face 仓库下载“hsxl_temporal_layers.f16.safetensors”和“hsxl_temporal_layers.safetensors”。

   将这两个文件保存到“ComfyUIcustom_nodesComfyUIAnimatedDiff-Evolvedmodels”文件夹中。

7. 再次重启 ComfyUI：

   完成所有模型下载和配置后，再次重启 ComfyUI 以使更改生效。

三、工作流解释与配置

1. 加载参考视频：

   在“Load video”节点中输入参考视频的位置路径（去掉引号）。

   建议使用 10-15 秒左右的较短视频剪辑，因为这是一个耗时的过程。

2. 设置视频尺寸：

   设置与参考视频相同的尺寸，也可以缩小这些值以加快视频渲染速度。

3. 加载模型：

   在“Load Checkpoint”节点中加载你的 SDXL 模型检查点。

   加载 SDXL VAE（变分自动编码器）模型。

   加载 IP Adapter Plus 模型和图像编码器模型。

4. 配置 IP Adapter 设置：

   在“Apply IP Adapter”节点中配置 IP adapter 设置，尝试将权重设置在 0.20 到 0.80 之间，噪声设置在 0.2 到 0.4 之间。

5. 加载并配置 ControlNet 模型：

   根据你的 GPU 资源选择 ControlNet 模型的版本：“fp16”版本用于更快的视频生成但质量较低，“safetensors”版本用于更高质量但渲染速度较慢。

   设置 ControlNet 的强度值为 1.0。

6. 加载 HotShotXL 模型：

   在“AnimateDiff Loader”节点中从下拉列表中加载 HotShotXL 模型。

7. 配置 KSampler 节点：

   调整一致性、质量和提示影响以获得更好的输出。

   建议设置范围：步数（Steps）25-30，生成后控制（Control After Generate）随机化（randomize），CFG 范围 3-8，采样器（Sampler）Euler 或 DPMPP_3m_GPU，调度器（Scheduler）Karras，开始步数（Start_Step）5-13。

8. 输入提示词：

   在“CLIPTextEncodeSDXL”节点中的绿色和红色框内输入正面和负面提示词。

   可以在两个框中输入相同的提示词以获得最佳效果。

9. 设置视频帧率：

   在“Video Combine”节点中设置与原始视频相同的帧率。

   可以重新命名生成的视频并选择格式（例如 mp4）。

10. 放大组设置：

    放大组包括多个节点，如 Upscale Image、VAE Encoder、KSampler Advanced、VAE Decoder、Save Image 和 Video Combine Nodes。

    在这里，所有设置保持默认即可。

四、开始视频渲染

1. 选择“Queue”按钮：

   在 ComfyUI 界面中，选择“Queue”按钮开始视频渲染。

2. 访问生成的输出：

   视频生成后，你可以在“ComfyUIoutput”文件夹中访问生成的输出文件。

五、注意事项

• 你可能需要调整设置以获得满意的结果，并进行多次渲染。
• ComfyUI 的新版本会在你生成的每个图像或视频中添加元数据，这有助于在协作团队环境中工作。
• 你可以探索更多的提示词创意，使用 Stable Diffusion 提示词生成器等工具来辅助创作。

通过以上步骤，你可以使用 AnimateDiff 和 SDXL 制作出酷炫的 AI 视频。记得保持耐心，并根据需要进行多次尝试和调整，以获得最佳效果。