跳转到正文

WARNING

本文档由 AI 自动翻译,仅供参考。涉及关键操作或信息时,请以英文原文为准。

使用 ComfyUI 和 Krita 创作 AI 艺术 ​

ComfyUI 提供强大的 AI 图像生成能力,但要让它真正有用,你需要将其集成到你的创意工作流程中。本指南展示如何将运行在 Olares 上的 ComfyUI 连接到你电脑上的 Krita,以便你可以直接在数字绘画环境中生成 AI 艺术作品。

学习目标 ​

在本指南中,你将学习如何:

  • 在 Olares 中部署和配置 ComfyUI,以最大化性能和资源效率。
  • 安装和配置 Krita AI Diffusion 插件。
  • 将 Krita 连接到你 Olares 托管的 ComfyUI 实例。
  • 在 Krita 中使用文本提示生成 AI 艺术作品。

前提条件 ​

  • Olares 上已安装 ComfyUI,且服务正在运行。
  • 你的电脑上已安装 Krita。
  • Olares 设备上有足够的系统资源来下载模型。

设置 ComfyUI ​

打开 ComfyUI Launcher 并点击 START 以确保服务正在运行。

最大化 GPU 性能

你可以在 Settings > GPU 中将 GPU 模式设置为 App exclusive 并分配 ComfyUI 完整的 GPU 访问权限,以确保最大性能。

获取 ComfyUI 连接信息 ​

应用端点(endpoint)如何工作

当客户端连接另一个 Olares 应用时,会使用该应用的端点作为网络地址。如果应用提供多个端点,请选择与客户端所需功能或协议相匹配的端点。

对于 ComfyUI:

  1. 前往 Olares Settings > Applications > ComfyUI > Entrances。
  2. 选择 ComfyUI,并将 Authentication level 设置为 Internal。
  3. 复制 Endpoint URL。

下载并启用 AI Diffusion 插件 ​

  1. 下载 Krita AI Diffusion 插件。

  2. 启动 Krita,从工具栏中选择 Tools > Scripts > Import Python Plugin from File。

    导入 AI 插件

  3. 选择下载的 ZIP 包。

  4. 出现提示时,确认插件激活并重启 Krita。

    确认插件激活

  5. 重启后,在 Krita > Preferences > Python Plugin Manager 中验证安装。

    验证 AI 插件

将 Krita 连接到 ComfyUI ​

连接步骤取决于你的电脑和 Olares 设备是否在同一网络上。

准备模型和插件 ​

安装必需的自定义节点 ​

Krita AI Diffusion 插件需要以下自定义节点:

要安装它们:

  1. 打开 ComfyUI Launcher,然后前往 Plugins > Custom Install。

  2. 粘贴自定义节点的 GitHub URL(例如 https://github.com/Acly/comfyui-tooling-nodes),然后点击 INSTALL PLUGIN。

  3. 对上面列出的其余每个自定义节点重复操作。 下载自定义节点

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 可选:如果你返回 Krita 并再次点击 Connect,你应该会看到错误消息,指示必需的模型仍然缺失。

    缺少必需的模型

安装必需的模型 ​

该插件需要这些实用模型才能正常工作。没有它们,某些功能将无法正常运行。预先安装它们可以确保更流畅的体验。

通过 ComfyUI Launcher 下载它们:

  1. 打开 ComfyUI Launcher,然后前往 Models > Custom Download。

  2. 下载放大模型:

    a. 粘贴 NMKD Superscale URL,将 Destination folder 设置为 Upscale Models,然后点击 DOWNLOAD MODEL。 下载必需的放大模型

    b. 使用相同的目标文件夹对三个 OmniSR 模型重复操作。

  3. 下载 inpaint 模型:

    a. 粘贴 MAT Inpaint URL。

    b. 将 Destination folder 设置为 Custom Directory。

    c. 输入 inpaint 作为 Directory Name。

    d. 点击 DOWNLOAD MODEL。 下载必需的 inpaint 模型

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 可选:如果你返回 Krita 并再次点击 Connect,你应该会看到错误消息,指示基础模型仍然缺失。

    缺少必需的模型

安装基础扩散模型 ​

至少需要一个扩散模型(通常称为 "checkpoint")。本指南使用 Z-Image Turbo 作为示例。Z-Image Turbo 是一个中等大小的模型,在质量和速度之间取得平衡,生成逼真的图像而不需要过多的内存。

  1. 打开 ComfyUI Launcher,向下滚动到 Package installation 部分。

  2. 找到 Z-Image Turbo Package 并点击 VIEW。

    Z-Image Turbo 包

  3. 在包详情页面上,点击 GET ALL 开始下载。你可以在状态栏中跟踪进度。

    下载进度

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 在 Krita 中,前往 Connection > Server Configuration 并再次点击 Connect。绿色的 "Connected" 指示器确认连接成功。你应该会在基础模型列表中看到 Z-Image 标记为 "supported"。

    检测到 Z-Image

添加风格 ​

在生成图像之前,你需要创建一个 Style Preset,告诉 Krita 使用哪个模型。

  1. 在 Krita 中打开 Configure Image Diffusion 对话框,然后前往 Styles 选项卡。

  2. 对于 Style Presets,从内置风格中选择 Z-Image Turbo。

    选择内置 Z-Image Turbo 风格

  3. 点击复制图标以创建当前风格的副本。

    复制风格

  4. 对于 Model Checkpoint,选择 Z-Image 模型。模型名称应该是 public/z_image_turbo_bf16。

    选择 Z-Image 模型

  5. 点击刷新图标以刷新可用风格列表。 刷新风格列表

  6. 保持其他设置的默认值,然后点击 Ok 保存更改。

    WARNING

    如果你不熟悉 Krita,建议使用默认设置。更改默认设置可能会产生意想不到的结果。

使用文本提示创作 AI 艺术 ​

  1. 在 AI Image Generation 面板中,确认已选择 Z-Image Turbo 风格。

  2. 在文本框中输入你的提示。例如:

    plain
    A person relaxing on a sandy beach, basking in the warm sunlight, with the calm blue ocean in the background.
  3. 点击 Generate。生成的图像出现在画布上。 生成图像

  4. 再次点击 Generate 生成新图像。 生成图像

  5. 选择一个首选结果,然后点击 Apply 将其添加到图层中。

局部重绘 ​

要完善生成图像的特定区域,请使用局部重绘。这允许你在保持其余部分完整的同时修改图像的某些部分。

  1. 选择自由手选择工具并在要修改的区域周围绘制。 使用自由手选择工具

  2. 输入你想要在选定区域中看到的内容的描述。例如:

    plain
    Seagulls can be seen flying in the distant sky.
  3. 点击 Fill。几个填充候选将出现在面板中。 填充候选

  4. 点击每个候选以在画布上预览它。

  5. 当你找到喜欢的结果时,点击 Apply 将其添加到图层中。 选择 inpaint 候选

故障排查 ​

无法从 Krita 连接到 ComfyUI ​

如果 Krita 显示连接错误:

检查解决方法
网络连接确保你的电脑和 Olares 在同一网络上。
ComfyUI 认证级别在 Settings > Applications > ComfyUI > Entrances > ComfyUI 中,确认设置为 Internal。
.com URL 的 LarePass VPN在 LarePass 桌面应用中启用 VPN connection。
干扰的代理/VPN暂时禁用其他 VPN 或代理软件。
ComfyUI 服务状态打开 ComfyUI Launcher 并验证服务正在 Running。
GPU 访问在 Settings > GPU 中,验证 ComfyUI 已绑定到具有足够
VRAM 分配的 GPU。
必需的插件和模型确保所有自定义节点、实用模型和基础扩散模型
已下载并且 ComfyUI 已重启。

了解更多 ​