WARNING

本文档由 AI 自动翻译，仅供参考。涉及关键操作或信息时，请以英文原文为准。

使用 Ollama、vLLM、llama.cpp 和 SGLang 运行本地大模型

适用 Olares 版本: 1.12.7+▾

Olares 1.12.7+Olares 1.12.6

Olares 提供四个引擎基座应用，每个基于不同的推理引擎构建：Ollama 引擎基座、vLLM 引擎基座、llama.cpp 引擎基座和SGLang 引擎基座。

选择所需引擎对应的基座应用，克隆它来部署模型。在模型应用中确认部署就绪后，通过 Router 查看模型详情并连接客户端。

开始之前

• 你的 Olares 系统已升级至 v1.12.7 或更高版本。

• 如果你想跳过手动配置、快速体验模型，可以直接从 Market 安装预构建的模型应用。这些应用打包了 Olares 验证推荐的模型与引擎组合。

  查看可用的预构建模型应用

  • Qwen3.6-27B (llama.cpp)
  • Qwen3.6-35B-A3B (llama.cpp)
  • Qwen3.6-27B MTP (llama.cpp)
  • Qwopus3.6-27B MTP (llama.cpp)
  • Gemma-4-12B (vLLM)
  • Qwen3.5-9B (SGLang)
  • Gemma 4 26B (Ollama)
  • Ornith 35B (Ollama)

找到引擎基座应用

1. 打开 Market，搜索 "引擎基座"。

   会出现四个引擎基座应用：vLLM 引擎基座、SGLang 引擎基座、Ollama 引擎基座和 llama.cpp 引擎基座。

   

2. 根据模型格式和服务目标选择引擎。先看模型格式：GGUF 文件使用 llama.cpp，Ollama 模型标签使用 Ollama，包含 .safetensors 权重的 Hugging Face 仓库使用 vLLM 或 SGLang。

   引擎基座	模型来源	适用场景
   llama.cpp 引擎基座	Hugging Face 上的 GGUF 文件	运行量化 GGUF 模型、GPU 显存有限，或需要使用 CPU 推理。Olares One 推荐使用该引擎。
   Ollama 引擎基座	Ollama 模型库中的模型标签	希望快速完成配置，并兼容多种对话或嵌入模型。Ollama 会根据原生标签下载模型。
   SGLang 引擎基座	包含 .safetensors 权重的 Hugging Face 仓库	需要结构化生成或高级推理优化，并且模型支持 SGLang。
   vLLM 引擎基座	包含 .safetensors 权重的 Hugging Face 仓库	需要为多个并发请求提供高吞吐量服务，并且模型支持 vLLM。

   如果应用市场已经提供对应模型的预构建应用，除非需要更换引擎或调整启动参数，否则优先安装预构建应用。它使用的模型与引擎组合已经过 Olares 验证。

创建新的模型实例

引擎基座应用只是一个模板。要运行模型，你必须先将基座克隆为独立的运行实例。

1. 选择与你所需推理引擎匹配的引擎基座，然后点击 View。例如 llama.cpp 引擎基座。

2. 点击 Create，初始化一个新实例。

   

3. 选择实例运行所用的硬件加速器，然后点击 Confirm。

4. 配置实例标识：

   • New app name：输入实例的唯一名称。该名称会作为应用名显示在 Market 和 Settings 中。例如 Qwen3.6-35B-A3B。
   • Shortcut name for [client]：输入实例的唯一快捷方式名称。该名称会显示在 Launchpad 上。例如 qwen3.6-35b-a3b。

5. 点击 Create，进入环境变量配置。

配置引擎环境变量

创建实例后，会弹出配置窗口。你需要定义引擎从哪里拉取模型、使用多少显存，以及向其他客户端应用暴露哪些能力。

1. 在 Configure environment variables for [New-app-name] 窗口中，根据目标模型和引擎填写以下信息。

2. 点击 Confirm 保存配置并开始安装实例。

   页面右侧会出现 Instances 面板，显示安装进度。安装完成后，实例的操作按钮会变为 Open，表示底层服务正在运行。同名的模型应用也会出现在 Launchpad 上。

   

   INFO

   从引擎基座应用创建的模型实例，应用名旁会显示 From template 标签。在 Market 或 Settings 中查看该应用时即可看到此标签。

   

后续修改环境变量

安装后如需修改这些变量，进入 Olares Settings > Applications > [App-Name] > Manage environment variables。点击变量旁的编辑图标，更新其值，保存修改，然后点击 Apply。

监控部署并配置模型服务

在模型应用的 Model Console 中跟踪下载进度，确认模型是否就绪、引擎是否运行。模型详情、上下文配置和客户端连接信息均在 Router 中查看。

1. 在引擎基座应用详情页的 Instances 面板中找到该模型实例，或在 Launchpad 中找到它。

2. 打开它，启动专属的模型控制台。

   控制台默认打开 Status 标签页，模型文件会自动开始下载。

3. 在 Service status 下跟踪模型和引擎的就绪状态：

   • Model：文件下载并校验完成后显示 Ready。
   • Engine：推理服务上线后显示 Running。

   

   如果任一状态一直未就绪，请参考模型或引擎未就绪。

在 Router 中查看模型详情

部署完成后，打开 Router 查看模型能力、上下文窗口和引擎参数。以下以 Qwen3.8-27B (llama.cpp) 为例：

1. 在 Router 中打开 LLM 页面，找到模型，点击所在行最右侧的信息图标，打开 Model card。

   

2. 查看 Context window 和 Engine args。下图中的 llama.cpp 模型配置为 -c 104448，即上下文大小为 104448 token。列表和模型卡片将它简写为 102K。客户端要求填写 token 数量时，应读取 Engine args 中的精确值。

   

请以自己模型实例中的配置为准。104448 只是本例的值，并非所有安装的固定值。-c 是 llama.cpp 的参数，其他引擎使用不同的上下文参数。

客户端填写的上下文大小不能超过引擎的实际配置。只增大客户端的设置不会扩大引擎的上下文容量。更换 default-chat 指向的模型后，也要检查客户端的上下文设置。

如需调整引擎参数，点击模型卡片中的 Edit。保存更改后的参数会重新启动引擎。

将客户端应用连接到模型服务

在 Olares 1.12.7 及更高版本中，客户端通过 Router 连接模型实例。Router 提供客户端使用的地址、模型名称和访问控制。

1. 从 Launchpad 打开 Router，在 LLM 中找到聊天模型。发送请求前，确认状态为 Callable。如果不可用，查看状态下方显示的原因。

2. 在 Default models 中将该实例设为默认聊天模型。应用教程使用 Qwen3.8-27B (llama.cpp)，你也可以选择在本教程中创建的聊天模型实例。

3. 返回模型所在行，点击 View connection example。对于安装在 Olares 中的客户端，选择 Apps in Olares，然后复制 Base URL，保留 /v1 后缀。

4. 按照将 OpenCode 连接到自定义提供方操作，使用 Router 的 Base URL，并手动添加 default-chat 作为模型 ID。如果希望客户端始终使用该实例，不随默认模型更改，请改用 Router 中的完整模型名称。

5. 在 OpenCode 中发送一条简短消息，然后在 Router 的 Usage 中确认请求使用了预期的模型。

外部客户端需使用对应连接标签页中的地址和 Router 签发的 API 密钥。嵌入模型实例应使用完整模型名称，不能使用 default-chat。详情见连接 AI 应用。

参考资料

引擎调优参数

使用 ENGINE_ARGS 变量添加自定义设置，以调整显存占用、上下文长度和处理行为。多个参数之间用空格分隔。点击下方推理引擎查看一些常用的调优参数。

推荐模型与参数

以下是各引擎经过验证的最佳实践推荐。可作为起点，再根据你的硬件进行调整。