KTransformers

Kimi 模型

Kimi 页面当前以 blocker 说明为主。Kimi-K2.5 已补过推理链路和 Training preflight;当前没有可展示的 Prefill/Decode TPS,也没有 Training TPS。

Kimi-K2.5

Inference

路线结果页面状态
sglang-kt缺 KimiK25 支持,不能进入当前路线legacy/blocker evidence
language-only 控制需要 encoder URLs,不能作为推荐命令blocker evidence
cache-root overlay 诊断路径能推进到模型加载,但单卡 24GB 在 lm_head 分配阶段 CUDA OOMblocker evidence

当前没有 Kimi-K2.5 Inference 推荐命令。cache-root overlay 是诊断证据,不是推荐启动方式。下一步需要更大显存、多卡分片或权重 offload 策略后,先重跑 server smoke,再进入 Prefill/Decode TPS sweep。

Training

Training tab 可见但置灰。

Case结果页面状态
Training template preflightconfig、processor、tokenizer 可读,但 LLaMA-Factory 模板解析失败:Template kimi_k25 does not exist.无 Training TPS;需要先补训练模板和 KT/LoRA 适配

Kimi K2 Thinking

registry 中存在 kimi-k2-thinking 方向;它和 Kimi-K2.5 不是同一个验证组合。给出推荐前需要单独记录:

checkpoint + RAWINT4 权重路径 + SGLang/KT source + 硬件 + command.sh + server smoke + Prefill/Decode TPS sweep