WARNING

当前文档由 AI 翻译生成，若发现术语或表述不准确，请查看英文原文。

使用 Open WebUI 与本地 LLM 聊天 20 min

Open WebUI 提供了一个直观的界面，用于管理大语言模型（LLM），支持 Ollama 和 OpenAI 兼容的 API。

本指南将带你完成在 Olares One 上安装 Open WebUI 和 Qwen3.5 27B、连接模型以及开始第一次聊天的全过程。完成后，你将拥有一个私有的本地聊天机器人，随时可供日常使用。

学习目标

在 Olares One 上使用 Open WebUI 运行本地 LLM。
让 Qwen3.5 27B Q4_K_M 模型可供其他应用使用。

前提条件

硬件

Olares One 连接到稳定的网络。
至少 20 GB 的可用磁盘空间用于下载模型。
足够的 GPU VRAM 和系统内存来运行 LLM。

用户权限

管理员权限，用于从 Market 安装共享应用和管理 GPU 资源。

步骤 1：安装 Open WebUI

打开 Market，搜索 "Open WebUI"。
点击 Get，然后点击 Install，等待安装完成。

步骤 2：安装 Qwen3.5 27B 并获取共享端点

在 Market 中搜索并安装 "Qwen3.5 27B Q4_K_M (Ollama)"。等待安装完成。
安装完成后，点击 Open 查看模型下载进度。
TIP
模型文件约为 17 GB。下载时间取决于你的网络速度。
当你看到以下界面时，模型已准备好使用。
要让 Open WebUI 访问此模型，你需要获取其共享端点 URL。
a. 打开 Olares Settings，然后导航到 Application > Qwen3.5 27B Q4_K_M (Ollama)。
b. 在 Shared entrances 中，选择 Qwen3.5 27B Q4_K_M 查看端点 URL。
c. 复制共享端点。例如：
plain
```
http://94a553e00.shared.olares.com
```
你在后续步骤中需要用到此 URL。
为什么使用共享端点 URL？
模型应用页面上显示的 URL 是用户特定的。如果你的设备和 Olares One 不在同一本地网络中，前端调用可能会触发 Olares 登录，并且你可能会遇到跨域限制（CORS）。为避免这些问题，请使用共享端点 URL。

步骤 3：创建 Open WebUI 管理员账户

打开 Open WebUI 应用。
在欢迎页面，点击 Get started。
输入你的姓名、邮箱和密码来创建账户。
INFO
你的所有数据，包括登录信息，都存储在 Olares One 本地。
第一个账户是管理员
在 Open WebUI 上创建的第一个账户具有管理员权限，让你完全控制用户管理和系统设置。

步骤 4：配置连接

点击左下角的 profile icon，选择 Admin Panel。
进入 Settings > Connections。
INFO
默认情况下，本地 Ollama API 已预先配置，并在 Manage Ollama API connections 下可见。
点击 add 打开 Add Connection 对话框。
在 URL 字段中，粘贴你在步骤 2 中复制的共享端点 URL，然后点击 Save。Open WebUI 会自动验证连接。当你看到 "Ollama API settings updated" 时，连接已建立。

步骤 5：与本地 LLM 聊天

在聊天主页面，确认模型下拉菜单中已选择 qwen3.5:27b-q4_K_M。
在文本框中输入你的提示词，按 Enter 开始聊天。

故障排查

Qwen3.5 27B 卡在 "Waiting for Ollama" 或 "Needs attention" 状态

如果 Qwen3.5 27B 应用在这些状态停留超过几分钟，首先检查 Settings > GPU 中的 GPU 模式：

如果你处于 Memory slicing 模式，请确保你已关联 Qwen3.5 27B 应用并为其分配了足够的 VRAM。
如果你处于 App exclusive 模式，请确保具有完整 GPU 访问权限的应用是 Qwen3.5 27B。

资源