模型或引擎未就绪
当模型实例可以打开,但模型控制台中的 Model 一直没有变为 Ready,或 Engine 没有变为 Running 时,请参考本文排查。
确认卡在哪个阶段
从启动台打开模型实例,在状态(Status)页查看服务状态(Service status)。
| 你看到的状态 | 说明 |
|---|---|
| Model 未显示 Ready | 模型文件仍在下载,或下载与校验过程未能完成。 |
| Model 已显示 Ready,但 Engine 未显示 Running | 模型文件已经可用,但推理服务无法使用当前配置或资源启动。 |
| 模型应用在应用市场或设置中显示为已停止 | Olares 无法为应用预留启动所需资源,或应用此前被手动停止。 |
模型未就绪
- 如果模型仍在下载,请保持模型实例运行。大型模型文件可能需要较长时间才能下载完成。
- 确认 Olares 可以访问模型来源,并且磁盘有足够可用空间。如果存储空间不足,请参考清理磁盘空间。
- 如果实例由引擎基座应用创建,请按照对应引擎的格式检查 MODEL_SOURCE 和 MODEL_NAME。详见配置引擎环境变量。
- 如果你在设置 > 应用 > [模型应用] > 管理环境变量中修正了变量,请保存更改并点击应用,然后等待模型控制台更新状态。
实例运行期间,请勿删除尚未下载完成的模型文件,否则可能导致应用状态与已存储文件不一致。
引擎未运行
- 等待 Model 显示 Ready。模型文件未就绪时,引擎无法提供模型服务。
- 检查实例配置:
- 确认 MODEL_NAME 与配置的模型一致。
- 确认 ENGINE_ARGS 使用所选引擎要求的语法。
- 确认引擎的
REQUIRED_GPU_MEMORY值没有超过可用资源。
- 如果应用处于已停止状态,请从应用市场 > 我的 Olares或设置 > 应用中恢复应用。
- 如果 Olares 提示显存不足,请参考 GPU 应用安装或恢复后处于暂停状态。
- 返回模型控制台。只有 Model 显示 Ready 且 Engine 显示 Running 后,才能继续连接客户端应用。
状态一直没有变化
请勿删除应用命名空间、Application 资源或共享引擎服务。这些操作可能影响其他模型实例,并增加恢复难度。
请记录以下信息:
- Olares 版本和模型应用版本。
- 引擎基座类型,以及该应用是预构建模型还是克隆实例。
- Model 和 Engine 的完整状态。
- 模型来源和引擎参数,注意移除令牌或凭据。
- 问题开始的时间,以及此前刚进行过的更改。
然后前往应用市场 > 我的 Olares > 日志,下载应用操作日志。如果需要提供更多信息,请参考收集诊断信息,并通过私密支持渠道共享日志压缩包。