管理 AI 算力资源
Olares 使用加速器来运行 AI 推理、图像与视频生成、转码和游戏等工作负载。加速器可以是 GPU、集成加速芯片，也可以是作为兜底能力的 CPU 资源。
本文将帮助你理解 Olares 如何分配加速器，说明如何切换加速器模式、恢复已停止应用并分配资源，以及从加速器中移除应用。
了解加速器
加速器如何分配资源
Olares 会把各类加速设备（如 GPU）作为集群共享资源管理。应用不需要直接管理硬件，Olares 会根据应用的加速器需求，查找匹配的资源，并在容量足够时将应用绑定到对应资源上。
对于需要加速器的应用，Olares 在分配资源时会综合判断：
- 资源类型，例如 NVIDIA GPU。
- 加速器模式，例如分时共享、容量分片或独占分配。
- 总显存与空闲显存。
- 应用显示为单 GPU 还是 多 GPU，即应用只能绑定一块加速器，还是可以同时绑定多块加速器。
- 当前已经分配到同一资源上的应用。
刚安装好的应用，如果有足够且匹配的加速器，Olares 会自动将它绑定到合适的资源上。后续如果应用停止运行，或者你想选择其他资源或模式，可以在恢复应用时手动分配资源。
支持的资源类型
Olares 可以展示以下加速器类型：
| 资源类型 | 说明 |
|---|---|
| NVIDIA | 通用 NVIDIA GPU。 |
| NVIDIA GB10 | NVIDIA GB10 SoC 设备。 |
| Apple M 系列 | Apple M 系列芯片。 |
| AMD Strix Halo | AMD Strix Halo 设备。 |
| CPU | 无可用加速设备时使用的兜底资源。 |
INFO
当前版本暂不覆盖 AMD GPU 与 AMD APU。
加速器模式
对于支持模式切换的加速器，模式决定了应用如何共享资源。不是所有加速器都支持全部三种模式。模式下拉菜单只会显示当前加速器可用的模式。
| 模式 | 描述 | 使用场景与说明 |
|---|---|---|
| 分时共享 | 多个应用随时间共享同一块 加速器。每个应用都可以看 到完整资源，但工作负载会 轮流使用资源。 |
|
| 容量分片 | 多个应用共享同一块加速器， 并拥有固定的显存配额。 |
|
| 独占分配 | 单个应用使用整块加速器。 |
|
分时共享模式下的节点内存计算
在分时共享模式下，Olares 当前按以下方式检查节点内存：
- 所需内存：
应用内存需求 + GPU 独立显存 - 调度阈值内的可用内存：
节点总内存 × 90% - 节点已用内存 - 内存缺口：
所需内存 - 可用内存
例如，某个应用需要 20 GiB 内存，GPU 独立显存为 16 GiB：
- 所需内存：
20 GiB + 16 GiB = 36 GiB - 节点总内存为 46.89 GiB、已用内存为 7.41 GiB 时，可用内存为：
46.89 GiB × 90% - 7.41 GiB = 34.79 GiB - 内存缺口：
36 GiB - 34.79 GiB = 1.21 GiB
由于内存缺口大于零，Olares 无法将该应用调度到此节点。
查看 AI 算力资源
前往设置 > AI 算力，可以查看集群中所有节点上的加速器资源。
页面会展示每个可用资源的以下信息：
- 节点名称。
- 资源类型，例如 NVIDIA GPU。
- 节点的独立显存。
- 加速器型号，例如 NVIDIA GeForce RTX 4060 Ti。
- 当前模式，例如分时共享、容量分片或独占分配。
- 当前分配到该资源上的应用。
切换资源模式
注意
切换模式会停止当前正在使用该加速器的所有应用，并移除它们已分配的资源。如需再次使用这些应用，需要重新分配资源并启动。
前往设置 > AI 算力，点击资源卡片上的管理。
在管理节点页面找到目标加速器，打开模式下拉菜单，然后选择分时共享、容量分片或独占分配。
恢复应用并分配资源
可以从设置或应用商店恢复已停止的应用，并手动分配资源。
打开以下任一位置：
- 设置 > 应用。
- 应用商店 > 我的 Olares。
找到目标应用，点击恢复。
查看启动对话框顶部的应用需求，包括资源类型、资源绑定能力和显存需求。
在选择 GPU下选择一个资源。弹窗会显示该资源的独立显存、模式、当前应用配额和已分配的应用。如果应用无法启动，请根据提示处理：
- 如果可用配额低于应用的最低需求，展开已分配的应用，点击应用旁的移除以释放资源，或选择其他 GPU。
- 如果 GPU 的独立显存总量低于应用的最低需求，移除应用也无法解决，需要选择其他 GPU。
- 在分时共享模式下，节点内存检查也可能阻止启动。提示信息会显示节点内存总量、已用内存和应用所需内存。请稍后重试或选择其他节点。
对于容量分片模式，当前应用配额默认为应用所需的最低显存。如需调整，直接在配额输入框中输入新的值。该值不能超过可用配额。
重新分配显存
应用分配完成后，不能直接调整显存。如需稍后修改，必须先从加速器中移除该应用，再重新恢复应用。
点击启动。
从 AI 算力资源中移除应用
从加速器中移除应用会停止该应用，并释放它占用的硬件资源。如果你只是想从设置中主动释放资源，而不是立即启动其他应用，可以使用此流程。
如需稍后再次使用该应用，需要重新分配资源并启动应用。
注意
如果应用绑定了多块加速器，或绑定了跨节点的多块加速器，从其中一个资源中移除该应用，会同时释放该应用占用的全部加速器，并停止该应用。
前往设置 > AI 算力，点击资源卡片上的管理。
在已分配的应用中找到目标应用，然后点击移除。
在确认对话框中点击移除。
INFO
资源释放需要一点时间。如果移除后仍没有可分配给该应用的资源，刷新资源列表后再查看。