Kimi 模型
Kimi 页面当前以 blocker 说明为主。Kimi-K2.5 已补过推理链路和 Training preflight;当前没有可展示的 Prefill/Decode TPS,也没有 Training TPS。
Kimi-K2.5
Inference
| 路线 | 结果 | 页面状态 |
|---|---|---|
旧 sglang-kt | 缺 KimiK25 支持,不能进入当前路线 | legacy/blocker evidence |
language-only 控制 | 需要 encoder URLs,不能作为推荐命令 | blocker evidence |
| cache-root overlay 诊断路径 | 能推进到模型加载,但单卡 24GB 在 lm_head 分配阶段 CUDA OOM | blocker evidence |
当前没有 Kimi-K2.5 Inference 推荐命令。cache-root overlay 是诊断证据,不是推荐启动方式。下一步需要更大显存、多卡分片或权重 offload 策略后,先重跑 server smoke,再进入 Prefill/Decode TPS sweep。
Training
Training tab 可见但置灰。
| Case | 结果 | 页面状态 |
|---|---|---|
| Training template preflight | config、processor、tokenizer 可读,但 LLaMA-Factory 模板解析失败:Template kimi_k25 does not exist. | 无 Training TPS;需要先补训练模板和 KT/LoRA 适配 |
Kimi K2 Thinking
registry 中存在 kimi-k2-thinking 方向;它和 Kimi-K2.5 不是同一个验证组合。给出推荐前需要单独记录:
checkpoint + RAWINT4 权重路径 + SGLang/KT source + 硬件 + command.sh + server smoke + Prefill/Decode TPS sweep