文本生成模型
KTransformers 的模型文档按模型组织。先选择模型，再在同一个模型页里选择 Inference 或 Training。这样可以把同一个 checkpoint 的推理、训练、blocker 和证据放在一起比较。
模型页摘要表使用吞吐指标：
| 任务 | 主指标 | 不进主表的指标 |
|---|---|---|
| Inference Prefill | Prefill TPS | latency、p50、p95、p99 |
| Inference Decode | Decode TPS | latency、p50、p95、p99 |
| Training | Training TPS | prefill/decode 拆分、训练 step/s 排名 |
模型页入口
| 模型页 | Inference 当前状态 | Training 当前状态 |
|---|---|---|
| Qwen | Qwen3-30B-A3B AMXINT8 已验证；Qwen3-235B GE0 为单卡 24GB baseline；Qwen3.5 当前推理置灰 | Qwen3-30B starter route；Qwen3-235B/Qwen3.5 advanced high-RAM route |
| MiniMax | MiniMax-M2/M2.5 FP8 GE10 默认、GE0 低显存档已验证 | Training tab 可见但置灰，已有 blocker 证据 |
| DeepSeek | DeepSeek-V2-Lite AMXINT8 已验证；V4-Flash/V3.2 当前置灰或边界证据 | DeepSeek-V2-Lite caveated route 可用；V4/V3.2 置灰 |
| Kimi | Kimi-K2.5 单卡 24GB 当前卡在 lm_head OOM，无 TPS | Training 置灰：缺 kimi_k25 模板 |
| GLM | 当前无可进入主表的 GLM-4.7/5.1 FP8 权重；GLM-4.5 tmp 被 NVFP4/ModelOpt capability 阻塞 | Training 置灰：PTQ/FSDP2 和权重格式不兼容 |
当前 Registry 家族
registry alias 仍然可以作为命令入口；实际推荐以模型页中已经验证的模型、method、backend 和硬件组合为准。
| Registry alias 示例 | 模型家族 | 默认 method 方向 | 当前状态 |
|---|---|---|---|
deepseek-v3、deepseek-r1 | DeepSeek | AMXINT4 registry defaults | 需要单独按新 Prefill/Decode TPS 协议复测 |
deepseek-v3.2 | DeepSeek | FP8 registry default | 单卡 24GB 只有边界证据，不进主推荐 |
deepseek-v4-flash | DeepSeek | MXFP4 窄路径 | 当前 server 未 ready，置灰 |
kimi-k2-thinking | Kimi | RAWINT4 | 需要按目标硬件重新验证 |
m2、m2.1 | MiniMax | FP8 | MiniMax-M2/M2.5 的 GE0/GE10 数据可参考模型页 |
kt model list
kt model search deepseek
如何阅读模型页
每个模型页都围绕同一组信息展开：
Overview：模型在当前硬件上的总状态。Inference：Prefill TPS、Decode TPS、winning config、资源峰值和证据 case。Training：Training TPS、训练配置、资源峰值、loss sanity 和证据 case。Disabled / Blocker：失败阶段、最后错误和下一步修复方向。Evidence：可追溯到command.sh、日志、监控和metrics.json的测试记录。
验证范围
已验证状态对应精确的测试组合：
模型家族 + checkpoint + method/backend + 硬件 + serving/training 入口 + command.sh + metrics.json
如果其中任一维度不同，建议先按相同流程重新做 smoke 和吞吐 sweep。