WARNING
本文档由 AI 自动翻译,仅供参考。涉及关键操作或信息时,请以英文原文为准。
使用 AnythingLLM 构建本地知识库
AnythingLLM 是一个开源的一体化 AI 应用,让你可以使用检索增强生成(RAG)与文档对话。它支持多个 LLM 提供方和向量数据库,并可在 Olares 设备上本地运行。
学习目标
在本指南中,你将学习如何:
- 在 Olares 上安装 AnythingLLM。
- 在 AnythingLLM 中配置聊天模型和嵌入提供方。
- 创建工作空间并上传文档以构建知识库。
- 使用自然语言查询你的知识库。
前提条件
开始前,你需要:
一台运行 Olares 1.12.7 或更高版本、具有足够磁盘空间和内存的 Olares 设备。
使用本地模型时,能够访问 Router。
从 Market 安装应用的管理员权限。
以下模型:
模型类型 模型 获取方式 聊天 Qwen3.8-27B (llama.cpp) 从 Market 安装 嵌入 all-MiniLM-L6-v2 AnythingLLM 内置的嵌入模型
可选:使用其他模型
从应用市场安装其他聊天模型,或通过引擎基座应用创建模型实例,然后在 Router 的 Default models 页面将其设为默认聊天模型。使用 default-chat 的客户端会调用新的默认模型,无需修改客户端的模型设置。
如果希望某个客户端始终使用指定模型,可改填 Router 的 How to call this model 窗口中显示的完整模型名称。
安装 AnythingLLM
打开 Market 并搜索 "AnythingLLM"。

点击 Get,然后点击 Install,等待安装完成。
获取模型连接信息
模型连接的工作原理
在 Olares 1.12.7 及以上版本中,AI 客户端通过 Olares Router 连接模型。Router 提供 Base URL,并将 default-chat 的请求转发给**默认模型(Default models)**页面中设置的聊天模型。
本教程使用 Qwen3.8-27B (llama.cpp) 作为默认聊天模型。连接格式和 API 密钥要求详见连接 AI 应用。
对于 Qwen3.8-27B (llama.cpp):
从启动台打开 Router。在 Default models 页面将 Qwen3.8-27B (llama.cpp) 设为默认聊天模型。
进入 LLM 页面,找到 Qwen3.8-27B (llama.cpp),点击模型所在行的 View connection example 图标。
在 How to call this model 窗口中,选择 Apps in Olares,复制完整的 Base URL,保留末尾的
/v1。模型名称使用
default-chat。在应用中选择模型
default-chat是路由名称,不会出现在从 Router 获取的模型列表中。如果要连接 Router 的应用会加载模型列表,请手动添加default-chat。如果应用只允许选择列表中的模型,请选择 Router 的 How to call this model 窗口中显示的完整模型名称。API 密钥留空。如果要连接 Router 的应用要求填写此字段,请填入
olares。
配置 AnythingLLM
配置聊天模型和嵌入提供方。这些设置将成为所有工作空间的系统默认值。
设置聊天模型
从 Launchpad 打开 AnythingLLM。
在主页上,点击左下角的 Open settings 图标。
在左侧边栏中,选择 AI Providers > LLM,然后选择 Generic OpenAI 作为 LLM 提供方。
在 Base URL 中,粘贴 Router 中的 Base URL。
在 Selected Model 中手动填写
default-chat。点击 Save changes。显示 "LLM preferences saved successfully" 消息。
设置嵌入模型
在左侧边栏中选择 Embedder,然后选择 AnythingLLM Embedder 作为嵌入提供方。
在 Model Preference 中选择 all-MiniLM-L6-v2 作为嵌入模型。

点击 Save changes。显示 "Embedding preferences saved successfully" 消息。
创建工作空间
点击左上角的 AnythingLLM 返回主页。
点击搜索栏旁边的 add_2。

在 New Workspace 窗口中,命名你的工作空间,例如
My test,然后点击 Save。
上传文档
点击工作空间名称旁边的 upload 打开文档管理器。

通过上传文件或提交链接来上传你的文档。上传的文档和网页会显示在 My Documents 面板中。

在 My Documents 面板中,选择上传的文档,然后点击 Move to Workspace 将它们添加到新创建的工作空间。

点击 Save and Embed 开始嵌入。
根据文档数量,这可能需要几分钟。嵌入完成后,显示 "Workspace updated successfully" 消息。
查询你的知识库
就你的文档提出问题。
返回工作空间聊天视图。
通过聊天发送你的问题。例如:
textOlares supports backup or notAnythingLLM 从你的文档中检索相关部分,并基于内容生成答案。
