模型状态说明
KTransformers 文档区分“代码存在”和“已验证支持”。一个模型可能已经有代码入口,但还没有在当前硬件、backend 和包版本下完成 smoke 或吞吐测试。
状态标签
| 状态 | 含义 |
|---|---|
| Current | 代码入口存在,文档接口与当前包路径一致。 |
| Current, narrow | 只在明确模型、包版本、硬件或 backend 约束下支持。 |
| Needs smoke | 代码或文档存在,但用于目标环境前需要重新验证对应组合。 |
| Legacy | 依赖旧入口或过时包结构。 |
| Do not advertise | 内部、不完整或仅 enum 级特性,不是面向用户的路径。 |
支持范围由 Tuple 决定
模型页或支持矩阵中的状态只覆盖已经记录的组合:
模型家族 + checkpoint + KT method/backend + 硬件类别 + serving/training 入口 + 包/版本限制
模型页的阅读方式
模型是第一维。每个模型页内部再放 Inference 和 Training 两个任务视角:
| 任务 | 主表指标 | 说明 |
|---|---|---|
| Inference | Prefill TPS、Decode TPS | 两个值可以来自不同最高吞吐实验;evidence 会标明 winning subcase |
| Training | Training TPS | 只看端到端训练总吞吐,不拆 prefill/decode |
latency、p50、p95、p99 可出现在 evidence 或 troubleshooting 中,但不作为模型页主表排序指标。
为什么会看到 Needs Smoke 或 Legacy
出现以下情况时,页面会显示 Needs smoke 或 Legacy:
- 页面依赖
local_chat.py、ktransformers/server/main.py、balance_serve或旧 optimize-rule 流程; - registry defaults 和教程命令不一致;
- 需要特殊或 pin 住的包版本;
- 模型路径需要非默认转换步骤,但未复跑;
- 上次测试后硬件 backend 已变化。