WARNING

本页面内容经 AI 翻译生成，仅供参考。具体细节请以英文原文为准。

使用 LLMFit 找到适合你硬件的最佳 LLM 模型

LLMFit 自动检测你系统的 RAM、CPU 和 GPU，然后推荐在你的硬件上运行良好的 LLM 模型。它在四个维度上对每个模型进行评分：质量、速度、兼容性和上下文长度，因此你可以快速查看哪些模型在你的设备上表现最佳。

已知限制

当前版本的 LLMFit 有以下限制：

随机节点分配：在多节点环境中，LLMFit 容器分配到的具体节点是随机的。
单 GPU 检测：LLMFit 只能检测和评估其所在特定节点上分配的 GPU。
多 GPU 显示限制：如果你的节点有多个 GPU，仪表板只显示其中一个（显示哪个不可预测）。API 正确检测多张卡，但它们的 VRAM 在界面中不会聚合或相加。

安装 LLMFit

打开 Market 并搜索 "LLMFit"。
点击获取，然后点击安装。等待安装完成。

使用 LLMFit

从 Launchpad 打开 LLMFit。仪表板显示：

系统摘要：当前节点及其硬件详情，如 CPU、RAM 和 GPU。
模型适配探索器：LLM 模型列表，包含估计的 TPS（每秒 token 数）以及质量、速度、适配和上下文分数。

使用这些分数来决定在你的 Olares 设备上下载和运行哪些模型。

LLMFit 仪表板

常见问题

如何使用 LLMFit TUI？

LLMFit 使用其内置的 Web 仪表板作为主要界面，以简化操作。仪表板提供与 TUI 相同的功能。

如果你更喜欢基于终端的 TUI：

打开 Control Hub，然后导航打开 LLMFit 容器终端。
运行以下命令：
bash
```
llmfit
```

了解更多