跳转到正文

WARNING

本文档由 AI 自动翻译,仅供参考。涉及关键操作或信息时,请以英文原文为准。

设置 Open WebUI 与本地 AI 对话 ​

Open WebUI 是一个自托管的聊天界面,让你在 Olares 设备上与本地模型进行私密对话。

本指南将带你完成安装 Open WebUI、连接本地模型并开始第一次对话。

学习目标 ​

在本指南中,你将学习如何:

  • 在 Olares 上安装 Open WebUI。
  • 创建管理员账号。
  • 将 Open WebUI 连接到本地模型。
  • 使用配置好的模型开始聊天会话。

前提条件 ​

开始前,你需要:

  • 一台运行 Olares 1.12.7 或更高版本、具有足够磁盘空间和内存的 Olares 设备。

  • 使用本地模型时,能够访问 Router。

  • 以下模型:

    模型类型模型获取方式
    聊天Qwen3.8-27B (llama.cpp)从应用市场安装
可选:使用其他模型

从应用市场安装其他聊天模型,或通过引擎基座应用创建模型实例,然后在 Router 的 Default models 页面将其设为默认聊天模型。使用 default-chat 的客户端会调用新的默认模型,无需修改客户端的模型设置。

如果希望某个客户端始终使用指定模型,可改填 Router 的 How to call this model 窗口中显示的完整模型名称。

安装 Open WebUI ​

  1. 打开应用市场,搜索 "Open WebUI"。

    Open WebUI

  2. 点击获取,然后点击安装。等待安装完成。

创建管理员账号 ​

首次启动 Open WebUI 时,你需要创建一个本地管理员账号,用于管理模型和设置。

  1. 从启动台打开 Open WebUI。

  2. 在欢迎页面中,点击 Get started。

  3. 输入你的姓名、邮箱和密码,创建管理员账号。

    Create account

获取模型连接信息 ​

要将 Open WebUI 连接到模型,你需要先从 Router 获取连接信息。

  1. 从启动台打开 Router。在 Default models 页面将 Qwen3.8-27B (llama.cpp) 设为默认聊天模型。

  2. 进入 LLM 页面,找到 Qwen3.8-27B (llama.cpp),点击模型所在行的 View connection example 图标。

  3. 在 How to call this model 窗口中,选择 Apps in Olares,复制完整的 Base URL,保留末尾的 /v1。

  4. 模型名称使用 default-chat。

    在应用中选择模型

    default-chat 是路由名称,不会出现在从 Router 获取的模型列表中。如果要连接 Router 的应用会加载模型列表,请手动添加 default-chat。如果应用只允许选择列表中的模型,请选择 Router 的 How to call this model 窗口中显示的完整模型名称。

  5. API 密钥留空。如果要连接 Router 的应用要求填写此字段,请填入 olares。

在 Open WebUI 中配置连接 ​

连接信息准备就绪后,在 Open WebUI 中将该模型添加为 OpenAI 兼容提供商。

  1. 在 Open WebUI 中,点击你的头像图标,选择 Admin Panel。

  2. 选择 Settings 标签页,然后从左侧边栏选择 Connections。

  3. 在 Manage OpenAI API Connections 右侧,点击 add 添加新连接。

  4. 在 API Base URL 字段中,输入你从 Router 复制的 Base URL。例如,https://router.<your-olares-domain>/v1。

  5. 展开 Advanced,通过 Add a Model ID 添加 default-chat,将 Olares 内应用的 Auth 设为 None。

  6. 点击 Save。Open WebUI 会自动验证连接。当看到 "OpenAI API settings updated" 消息时,表示连接已建立。

开始聊天 ​

模型连接完成后,你就可以使用聊天界面了。

  1. 在聊天区域,选择你配置好的模型。

    Select model

  2. 在文本框中输入提示词,然后按 Enter 键开始对话。

    Chat with LLM

了解更多 ​