Skip to content

WARNING

本页面为 AI 翻译版本,内容仅供快速参考。关键信息建议以英文原文为准。

使用 ComfyUI 和 Krita 创作 AI 艺术

ComfyUI 提供强大的 AI 图像生成能力,但要让它真正有用,你需要将其集成到你的创意工作流程中。本指南展示如何将运行在 Olares 上的 ComfyUI 连接到你电脑上的 Krita,以便你可以直接在数字绘画环境中生成 AI 艺术作品。

学习目标

在本指南中,你将学习如何:

  • 在 Olares 中部署和配置 ComfyUI,以最大化性能和资源效率。
  • 安装和配置 Krita AI Diffusion 插件。
  • 将 Krita 连接到你 Olares 托管的 ComfyUI 实例。
  • 在 Krita 中使用文本提示生成 AI 艺术作品。

前提条件

  • Olares 上已安装 ComfyUI,且服务正在运行。
  • 你的电脑上已安装 Krita
  • Olares 设备上有足够的系统资源来下载模型。

设置 ComfyUI

打开 ComfyUI Launcher 并点击 START 以确保服务正在运行。

最大化 GPU 性能

你可以在 Settings > GPU 中将 GPU 模式设置为 App exclusive 并分配 ComfyUI 完整的 GPU 访问权限,以确保最大性能。

获取 ComfyUI 连接信息

应用端点(endpoint)如何工作

当客户端连接另一个 Olares 应用时,会使用该应用的端点作为网络地址。如果应用提供多个端点,请选择与客户端所需功能或协议相匹配的端点。

对于 ComfyUI:

  1. 前往 Olares Settings > Applications > ComfyUI > Entrances
  2. 选择 ComfyUI,并将 Authentication level 设置为 Internal
  3. 复制 Endpoint URL。

下载并启用 AI Diffusion 插件

  1. 下载 Krita AI Diffusion 插件

  2. 启动 Krita,从工具栏中选择 Tools > Scripts > Import Python Plugin from File

    导入 AI 插件

  3. 选择下载的 ZIP 包。

  4. 出现提示时,确认插件激活并重启 Krita。

    确认插件激活

  5. 重启后,在 Krita > Preferences > Python Plugin Manager 中验证安装。

    验证 AI 插件

将 Krita 连接到 ComfyUI

连接步骤取决于你的电脑和 Olares 设备是否在同一网络上。

准备模型和插件

安装必需的自定义节点

Krita AI Diffusion 插件需要以下自定义节点:

要安装它们:

  1. 打开 ComfyUI Launcher,然后前往 Plugins > Custom Install

  2. 粘贴自定义节点的 GitHub URL(例如 https://github.com/Acly/comfyui-tooling-nodes),然后点击 INSTALL PLUGIN

  3. 对上面列出的其余每个自定义节点重复操作。 下载自定义节点

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 可选:如果你返回 Krita 并再次点击 Connect,你应该会看到错误消息,指示必需的模型仍然缺失。

    缺少必需的模型

安装必需的模型

该插件需要这些实用模型才能正常工作。没有它们,某些功能将无法正常运行。预先安装它们可以确保更流畅的体验。

通过 ComfyUI Launcher 下载它们:

  1. 打开 ComfyUI Launcher,然后前往 Models > Custom Download

  2. 下载放大模型:

    a. 粘贴 NMKD Superscale URL,将 Destination folder 设置为 Upscale Models,然后点击 DOWNLOAD MODEL下载必需的放大模型

    b. 使用相同的目标文件夹对三个 OmniSR 模型重复操作。

  3. 下载 inpaint 模型:

    a. 粘贴 MAT Inpaint URL。

    b. 将 Destination folder 设置为 Custom Directory

    c. 输入 inpaint 作为 Directory Name

    d. 点击 DOWNLOAD MODEL下载必需的 inpaint 模型

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 可选:如果你返回 Krita 并再次点击 Connect,你应该会看到错误消息,指示基础模型仍然缺失。

    缺少必需的模型

安装基础扩散模型

至少需要一个扩散模型(通常称为 "checkpoint")。本指南使用 Z-Image Turbo 作为示例。Z-Image Turbo 是一个中等大小的模型,在质量和速度之间取得平衡,生成逼真的图像而不需要过多的内存。

  1. 打开 ComfyUI Launcher,向下滚动到 Package installation 部分。

  2. 找到 Z-Image Turbo Package 并点击 VIEW

    Z-Image Turbo 包

  3. 在包详情页面上,点击 GET ALL 开始下载。你可以在状态栏中跟踪进度。

    下载进度

  4. 返回 ComfyUI Launcher 中的 Home 页面,然后点击 RESTART 使更改生效。

  5. 在 Krita 中,前往 Connection > Server Configuration 并再次点击 Connect。绿色的 "Connected" 指示器确认连接成功。你应该会在基础模型列表中看到 Z-Image 标记为 "supported"。

    检测到 Z-Image

添加风格

在生成图像之前,你需要创建一个 Style Preset,告诉 Krita 使用哪个模型。

  1. 在 Krita 中打开 Configure Image Diffusion 对话框,然后前往 Styles 选项卡。

  2. 对于 Style Presets,从内置风格中选择 Z-Image Turbo

    选择内置 Z-Image Turbo 风格

  3. 点击复制图标以创建当前风格的副本。

    复制风格

  4. 对于 Model Checkpoint,选择 Z-Image 模型。模型名称应该是 public/z_image_turbo_bf16

    选择 Z-Image 模型

  5. 点击刷新图标以刷新可用风格列表。 刷新风格列表

  6. 保持其他设置的默认值,然后点击 Ok 保存更改。

    WARNING

    如果你不熟悉 Krita,建议使用默认设置。更改默认设置可能会产生意想不到的结果。

使用文本提示创作 AI 艺术

  1. AI Image Generation 面板中,确认已选择 Z-Image Turbo 风格。

  2. 在文本框中输入你的提示。例如:

    plain
    A person relaxing on a sandy beach, basking in the warm sunlight, with the calm blue ocean in the background.
  3. 点击 Generate。生成的图像出现在画布上。 生成图像

  4. 再次点击 Generate 生成新图像。 生成图像

  5. 选择一个首选结果,然后点击 Apply 将其添加到图层中。

Inpaint

要完善生成图像的特定区域,请使用 inpainting。这允许你在保持其余部分完整的同时修改图像的某些部分。

  1. 选择自由手选择工具并在要修改的区域周围绘制。 使用自由手选择工具

  2. 输入你想要在选定区域中看到的内容的描述。例如:

    plain
    Seagulls can be seen flying in the distant sky.
  3. 点击 Fill。几个填充候选将出现在面板中。 填充候选

  4. 点击每个候选以在画布上预览它。

  5. 当你找到喜欢的结果时,点击 Apply 将其添加到图层中。 选择 inpaint 候选

故障排查

无法从 Krita 连接到 ComfyUI

如果 Krita 显示连接错误:

检查解决方法
网络连接确保你的电脑和 Olares 在同一网络上。
ComfyUI 认证级别Settings > Applications > ComfyUI > Entrances > ComfyUI 中,确认设置为 Internal
.com URL 的 LarePass VPN在 LarePass 桌面应用中启用 VPN connection
干扰的代理/VPN暂时禁用其他 VPN 或代理软件。
ComfyUI 服务状态打开 ComfyUI Launcher 并验证服务正在 Running
GPU 访问Settings > GPU 中,验证 ComfyUI 已绑定到具有足够
VRAM 分配的 GPU。
必需的插件和模型确保所有自定义节点、实用模型和基础扩散模型
已下载并且 ComfyUI 已重启。

了解更多