KTransformers

模型状态说明

KTransformers 文档区分“代码存在”和“已验证支持”。一个模型可能已经有代码入口,但还没有在当前硬件、backend 和包版本下完成 smoke 或吞吐测试。

状态标签

状态含义
Current代码入口存在,文档接口与当前包路径一致。
Current, narrow只在明确模型、包版本、硬件或 backend 约束下支持。
Needs smoke代码或文档存在,但用于目标环境前需要重新验证对应组合。
Legacy依赖旧入口或过时包结构。
Do not advertise内部、不完整或仅 enum 级特性,不是面向用户的路径。

支持范围由 Tuple 决定

模型页或支持矩阵中的状态只覆盖已经记录的组合:

模型家族 + checkpoint + KT method/backend + 硬件类别 + serving/training 入口 + 包/版本限制

模型页的阅读方式

模型是第一维。每个模型页内部再放 InferenceTraining 两个任务视角:

任务主表指标说明
InferencePrefill TPSDecode TPS两个值可以来自不同最高吞吐实验;evidence 会标明 winning subcase
TrainingTraining TPS只看端到端训练总吞吐,不拆 prefill/decode

latency、p50、p95、p99 可出现在 evidence 或 troubleshooting 中,但不作为模型页主表排序指标。

为什么会看到 Needs Smoke 或 Legacy

出现以下情况时,页面会显示 Needs smokeLegacy

  • 页面依赖 local_chat.pyktransformers/server/main.pybalance_serve 或旧 optimize-rule 流程;
  • registry defaults 和教程命令不一致;
  • 需要特殊或 pin 住的包版本;
  • 模型路径需要非默认转换步骤,但未复跑;
  • 上次测试后硬件 backend 已变化。