WARNING
本文档由 AI 自动翻译，仅供参考。涉及关键操作或信息时，请以英文原文为准。
使用 AnythingLLM 构建本地知识库 — Olares 1.12.6
AnythingLLM 是一个开源的一体化 AI 应用，让你可以使用检索增强生成（RAG）与文档对话。它支持多个 LLM 提供方和向量数据库，并可在 Olares 设备上本地运行。
学习目标
在本指南中，你将学习如何：
- 在 Olares 上安装 AnythingLLM。
- 在 AnythingLLM 中配置聊天模型和嵌入提供方。
- 创建工作空间并上传文档以构建知识库。
- 使用自然语言查询你的知识库。
前提条件
开始前，你需要：
一台具有足够磁盘空间和内存的 Olares 设备。
从 Market 安装应用的管理员权限。
以下模型：
模型类型 模型 获取方式 聊天 Qwen3.6-27B (llama.cpp) 从 Market 安装 嵌入 all-MiniLM-L6-v2 AnythingLLM 内置的嵌入模型
可选：使用其他模型
你也可以选择不同大小的模型，或改用其他模型提供商：
- 从应用市场安装其他模型应用。
- 通过引擎基座应用创建模型实例，使用自己的模型。
如果 AI Agent 应用已安装 Olares CLI 和 Agent Skills，可以让它部署模型并跳过手动设置。例如：
使用 Ollama 引擎基座在我的 Olares 上部署 qwen3.5:9b。安装 AnythingLLM
打开 Market 并搜索 "AnythingLLM"。
点击 Get，然后点击 Install，等待安装完成。
获取模型连接信息
模型连接的工作原理
Olares 上的独立模型作为与客户端应用分开的服务运行。要连接两者，客户端需要准确的 Model name，以及与其所需 API 格式相匹配的 Base URL。
你可以从模型控制台获取这两个值。有关更多信息，可参阅连接 AI 应用。
对于 Qwen3.6-27B (llama.cpp)：
从启动台打开模型应用。其模型控制台会自动打开。
等待模型显示就绪，且引擎显示运行中。
在模型部分，按显示内容原样复制模型名称。
在引擎部分：
a. 连接来源：选择 Olares 内应用。
b. API 格式：选择 OpenAI-Compatible。
c.按显示内容原样复制 Base URL 地址。
配置 AnythingLLM
配置聊天模型和嵌入提供方。这些设置将成为所有工作空间的系统默认值。
设置聊天模型
从 Launchpad 打开 AnythingLLM。
在主页上，点击左下角的 Open settings 图标。
在左侧边栏中，选择 AI Providers > LLM，然后选择 Generic OpenAI 作为 LLM 提供方。
在 Base URL 中，粘贴 Qwen3.6-27B (llama.cpp) 模型控制台中的 Base URL。
在 Selected Model 中选择
unsloth/Qwen3.6-27B-GGUF:Q4_K_M。
点击 Save changes。显示 "LLM preferences saved successfully" 消息。
设置嵌入模型
在左侧边栏中选择 Embedder，然后选择 AnythingLLM Embedder 作为嵌入提供方。
在 Model Preference 中选择 all-MiniLM-L6-v2 作为嵌入模型。
点击 Save changes。显示 "Embedding preferences saved successfully" 消息。
创建工作空间
点击左上角的 AnythingLLM 返回主页。
点击搜索栏旁边的 add_2。
在 New Workspace 窗口中，命名你的工作空间，例如
My test，然后点击 Save。
上传文档
点击工作空间名称旁边的 upload 打开文档管理器。
通过上传文件或提交链接来上传你的文档。上传的文档和网页会显示在 My Documents 面板中。
在 My Documents 面板中，选择上传的文档，然后点击 Move to Workspace 将它们添加到新创建的工作空间。
点击 Save and Embed 开始嵌入。
根据文档数量，这可能需要几分钟。嵌入完成后，显示 "Workspace updated successfully" 消息。
查询你的知识库
就你的文档提出问题。
返回工作空间聊天视图。
通过聊天发送你的问题。例如：
textOlares supports backup or notAnythingLLM 从你的文档中检索相关部分，并基于内容生成答案。
