Dify 定制 AI 助手

Dify 是一个 AI 应用开发平台。它是 Olares 集成的关键开源项目之一，帮助你构建和管理 AI 应用，同时确保数据完全由自己掌控。此外，你也可以在 Dify 中接入个人知识库文档，让 AI 应用更懂你。

开始之前

一台运行 Olares 1.12.7 或更高版本、具有足够磁盘空间和内存的 Olares 设备。
使用本地模型时，能够访问 Router。
从应用市场安装 Qwen3.8-27B (llama.cpp)。

可选：使用其他模型

从应用市场安装其他聊天模型，或通过引擎基座应用创建模型实例，然后在 Router 的 Default models 页面将其设为默认聊天模型。使用 default-chat 的客户端会调用新的默认模型，无需修改客户端的模型设置。

如果希望某个客户端始终使用指定模型，可改填 Router 的 How to call this model 窗口中显示的完整模型名称。

安装 Dify

INFO

从 Olares 1.11.6 开始，如果已安装 "Dify For Cluster" 或 "Dify"，需先卸载这些版本。

从应用市场中安装 “Dify 共享版”。
从桌面打开 Dify。请确保管理员已安装 Dify 共享版。

创建 AI 助手应用

打开 Dify，在工作室选项卡下，点击创建空白应用创建一个 AI 助手应用。这里我们创建一个名为 “Ashia” 的 Agent。
右侧点击去设置，进入模型供应商配置页面。你可以选择远程模型或本地托管模型。

通过 Router 添加聊天模型

从启动台打开 Router。在 Default models 页面将 Qwen3.8-27B (llama.cpp) 设为默认聊天模型。
进入 LLM 页面，找到 Qwen3.8-27B (llama.cpp)，点击模型所在行的 View connection example 图标。
在 How to call this model 窗口中，选择 Apps in Olares，复制完整的 Base URL，保留末尾的 /v1。
在客户端中将模型名称填写为 default-chat。Olares 内的应用无需 Router API 密钥。允许留空时留空，必填时可填写 olares。
default-chat 是路由名称，不会出现在模型列表 API 的返回结果中。如果客户端自动获取模型列表，需要手动添加它。如果客户端只允许选择列表中的模型，请改用 Router 中显示的完整模型名称。
在 Dify 中打开 Settings > Model Provider，安装并选择 OpenAI-API-compatible 提供商插件。
添加模型，Model Name 填写 default-chat，模型类型选择聊天或 LLM。
Base URL 填写从 Router 复制的地址，保留 /v1。API 密钥允许留空时留空，必填时填写 olares。
保存配置。

配置 Ashia

切换至 Dify 的工作室选项，并进入 Ashia 应用。
从右侧模型列表中选择已配置好的 Gemma2 本地模型。
点击发布。现在可以在调试与预览窗口试着和 Gemma2 聊天了。

设置本地知识库

在 Dify 中，进入知识库选项卡。
找到你的默认知识库。Dify 会监听你 Olares ID 名下的 /Documents 文件夹，作为其默认知识库。
进入 /Documents 文件夹，添加文档至知识库。
在 Ashia 的编排页面中，点击 add添加，选择创建的知识库，为 Ashia 添加上下文支持。
点击发布。现在有了知识库的帮助，你可以试着向助手问一个专业问题：