Olares

简体中文

English

简体中文

English

Appearance

共享应用 ​

共享应用是 Olares 社区应用中的一个特殊类别，由管理员统一部署和管理，集群中的其他成员无需自行安装即可使用。

本文介绍共享应用的基本概念、Olares 1.12.6 引入新架构的原因，以及如何从旧版 v2 共享应用迁移到新版共享架构。

了解共享应用 ​

共享应用为 Olares 集群中的所有用户提供共享的资源或服务。与每位成员各自安装实例不同，管理员只需安装并管理一个实例，所有人即可使用。

共享应用的主要特点：

  • 集中管理：只有管理员可以安装、升级、暂停、恢复和卸载共享应用，并负责在集群内配置和托管应用的服务、资源和运行环境。

  • 易于识别：在应用市场中，共享应用通常带有共享应用、共享版 或 group 等标识。

  • 灵活访问：访问方式取决于应用类型。

    • 无界面的后端服务：仅提供 API 服务，没有最终用户图形界面。例如，在引擎基座应用上创建的模型实例会在模型控制台中暴露一个 Base URL，成员将该地址粘贴到 Open WebUI 或 LobeChat 等客户端中使用。

    • 自带用户界面的完整应用：同时包含后端服务和 Web 用户界面。成员可直接从启动台打开使用。例如 Dify 和 ComfyUI。

  • 统一 HTTPS 地址：所有共享应用都使用相同的 URL 格式，即 https://<app-id>.<username>.<platform-domain>。每位成员通过自己的用户名访问同一共享应用。

了解架构变化 ​

在 v1.12.6 之前，共享应用被拆分为服务端组件和客户端访问点。这种设计存在一个问题：服务端与这些访问点紧密耦合，卸载其中一个可能导致共享服务端无法访问，从而影响所有用户。

新架构则用统一的共享服务端取代了原来的客户端/服务端拆分：

v2 架构新架构
服务端 + 客户端访问点统一的共享服务端
卸载某个访问点可能破坏服务端服务端生命周期独立于任何访问点
访问地址和格式不统一所有应用使用统一的地址格式
客户端和服务端分开管理管理员只需管理一个共享服务

新架构的好处包括：

  • 管理更简单：管理员只需管理一个共享应用，而无需协调客户端和服务端组件。
  • 避免孤儿服务：卸载面向用户的应用不会再影响共享服务端。
  • 访问更个性化：每位成员通过自己的用户名访问同一共享应用，所有共享应用使用相同的 HTTPS URL 模式。

引擎基座取代 Ollama ​

独立的 Ollama 共享应用和旧版模型应用已被新的引擎基座架构取代。

之前，在 Olares 上运行本地 LLM 有两种方式：

  • Ollama：安装独立的 Ollama 共享应用，然后通过其命令行手动拉取模型。这里最大的痛点是调度冲突：Ollama 与 Olares 的 GPU 时间分片管理不兼容，同时运行多个模型时会在 GPU 上产生冲突。
  • 单模型应用：Olares 也提供单模型应用，但每个应用都将特定模型与特定引擎打包在一起。这里最大的痛点是强耦合：每次更新底层引擎或发布新模型，都需要发布一个新应用，因此会延缓新模型的上线速度。

为解决这些问题，Olares 引入了引擎基座架构。这一新设计将推理引擎抽象为四个可复用的基础应用：Ollama 引擎基座、vLLM 引擎基座、SGLang 引擎基座 和 llama.cpp 引擎基座。

现在你不再需要通过单个 Ollama 应用拉取模型，也不必安装预捆绑的单模型应用，只需选择所需的引擎基座并将其克隆为独立的、定制化的模型实例。这一架构转变带来了以下核心优势：

  • 兼容 GPU 时间分片：模型实例遵循 Olares 的调度规则，因此可以同时顺畅运行多个模型，而不会出现硬件或调度冲突。
  • 集中管理：引擎通过基座应用统一维护。当 Olares 更新某个引擎基座后，你可以升级克隆出的实例，而无需等待新的模型应用发布。
  • 配置更灵活：你可以自行设置每个实例的模型来源、参数和能力，并为不同模型选择最合适的引擎。例如，本地快速推理用 Ollama、高并发服务用 vLLM 或 SGLang、边缘部署用 llama.cpp。
  • 内置模型控制台：每个模型实例都有专属模型控制台，用于监控 GPU 驻留情况、跟踪性能以及管理客户端连接。

有关如何使用引擎基座应用创建和配置模型实例的详细信息，请参阅使用引擎基座应用托管本地大语言模型。

管理旧版 v2 共享应用 ​

升级到 Olares v1.12.6 后，已安装的 v2 共享应用仍可继续工作。你可以像以前一样启动、使用、暂停和恢复它们，但无法直接升级到新架构。

识别 v2 共享应用

要确认一个应用是否为旧版 v2 版本，请在应用市场中打开其详情页，查看信息面板中的兼容性字段。v2 共享应用通常显示为 Olares >=1.12.3-0, <1.12.6。

卸载前检查应用数据

在卸载之前，你可能需要备份应用专属数据，以免丢失工作流。各应用的迁移指引请参阅将共享应用从 v2 迁移到新架构。

将共享应用从 v2 迁移到新架构 ​

不同共享应用需要不同的迁移路径。请根据你要迁移的应用，选择对应的选项。

选项一：自动迁移数据 ​

以下情况使用该方法：共享应用支持自动数据迁移。

  • 属于该方法的应用：ComfyUI
  • 步骤：有关迁移 ComfyUI 的详细步骤，包括如何保留数据以及新的数据位置，请参阅 ComfyUI 迁移说明。

选项二：重新安装 ​

以下情况使用该方法：应用没有用户创建的数据需要迁移。

  • 属于该方法的应用：无重要数据的应用，例如 Falco 和 MTranServer

  • 步骤：卸载 v2 共享应用，然后从应用市场搜索并安装新版共享应用。

    区分 v2 和新版应用

    在应用详情页，查看信息面板中的兼容性字段：

    • v2 共享应用显示为 Olares >=1.12.3-0, <1.12.6。
    • 新版共享应用显示为 Olares >=1.12.6-0。

选项三：手动备份并恢复 ​

以下情况使用该方法：应用存储了用户创建的数据或设置，必须手动迁移。

  • 属于该方法的应用：Dify、OnlyOffice、SearXNG 和 Xinference
  • 步骤：按应用查看对应的迁移指南：Dify、OnlyOffice、SearXNG 和 Xinference。

选项四：将 Ollama 应用升级到引擎基座 ​

以下情况使用该方法：你从 Ollama 共享应用迁移到新的引擎基座架构。

  • 属于该方法的应用：用于拉取模型的 Ollama 应用
  • 步骤：将 Ollama 拉取的模型部署到引擎基座应用上，在模型控制台中获取 Base URL，然后重新配置客户端。

常见问题 ​

关于共享入口 ​

系统中仍然存在共享入口，但你不要使用它来访问共享应用。该非用户特定地址今后仅保留给系统级内部集成使用，例如需要统一地址的预配置 Agent-to-Agent API 调用。

  • 你自己访问共享应用时，可直接从启动台打开。
  • 连接客户端应用时：
    • LLM 服务应用：打开应用，使用模型控制台中显示的 Base URL。
    • 其他类型共享应用：前往 Olares 设置 > 应用 > [应用名称] > 入口，使用端点配置下显示的 https 端点。