KTransformers

支持矩阵

本矩阵用于确认哪些模型组合已经完成当前口径的验证。模型家族、checkpoint、KT method/backend、硬件类别、serving 或 training 入口都匹配时，矩阵里的结果才可直接参考。

状态标签的含义见 模型状态说明。在不同硬件、backend 或包版本上使用前，请重新做最小 serving 或 training smoke。

状态

状态含义
Current代码入口存在，文档接口与当前仓库一致。
Current, narrow在明确模型、硬件、包版本或 backend 约束下支持。
Verified已在指定硬件类别和命令上跑通，并有 command.sh、日志、监控和 metrics.json。
Blocked已按当前路线测试，但未能 server ready 或未进入训练 step；页面会显示失败阶段和 blocker。
Needs smoke代码或文档存在，但用于当前环境前需要重新验证目标组合。
Needs reconciliation存在多条看起来当前可用的路径，需要统一后再给出推荐。
当前不支持不作为当前 KTransformers 能力宣传。
支持方向项目方向成立，但具体模型文档仍需要硬件验证。
Legacy依赖旧 local_chat.py、ktransformers/server/main.py、balance_serve 或 kt_optimize_rule 路径。

推理 Method

Method状态备注
BF16Current用于已明确文档化的原生 BF16 MoE expert 推理。
FP8CurrentDeepSeek、MiniMax、Qwen、GLM 等页面使用的原生 FP8 路径。
FP8_PERCHANNELCurrent, narrowper-channel FP8，只适用于匹配的 checkpoint。
RAWINT4Current / Needs smokeKimi 风格原生 INT4 路径；后端行为随 CPU ISA 变化。
GPTQ_INT4Needs smoke当前推理 method，但不是通用 INT4 推荐。
AMXINT4CurrentAMX 转换后 INT4 expert 权重。
AMXINT8CurrentAMX 转换后 INT8 expert 权重。
MXFP4Current, narrowDeepSeek V4-Flash 专用。
LLAMAFILECurrent, secondaryGGUF / llamafile 兼容 backend。

推理模型

Inference 摘要使用 Prefill TPS 和 Decode TPS。如果两个最高值来自不同 sweep 或不同 GPU expert 数量，模型页会把它们标成两条独立实验。

模型/家族精度 / method验证入口主指标状态
Qwen3-30B-A3BAMXINT8手动 SGLang-KT，单卡 24GB GPUPrefill 3367.97 TPS（GE30）；Decode 85.96 TPS（GE20）Verified；GE30 默认，GE20 只作为 decode-best 变体
DeepSeek-V2-LiteAMXINT8手动 SGLang-KT，单卡 24GB GPUPrefill 26558.49 TPS（GE40）；Decode 118.35 TPS（GE35）Verified；Prefill/Decode 来自两条命令变体
MiniMax-M2FP8手动 SGLang-KT，单卡 24GB GPUGE10 Prefill 127.71 TPS / Decode 22.13 TPSVerified；GE10 默认，GE0 低显存，GE20/GE30 不推荐
MiniMax-M2.5FP8手动 SGLang-KT，单卡 24GB GPUGE10 Prefill 128.50 TPS / Decode 21.71 TPSVerified；GE10 默认，GE0 低显存，GE20/GE30 不推荐
Qwen3-235B-A22B-Instruct-2507AMXINT8手动 SGLang-KT，单卡 24GB GPUGE0 Prefill 550.95 TPS / Decode 16.64 TPSVerified，低 GPU expert baseline；GE5/GE10 置灰 OOM
Qwen3.5-397B-A17BBF16 raw smoke新环境能识别 qwen3_5_moe，但 BF16 原始权重在单卡 24GB GPU 上模型加载 OOM无 TPSBlocked；需要量化/KT 权重、多卡或更大显存
DeepSeek V4-FlashMXFP4/FP8 诊断路径test-only shim 能到 DSV4 loader，最终 CPUInfer load_weights_task segfault无 TPSBlocked；server 未 ready
DeepSeek-V3.2FP8GE0/0.95 只能 1024-token tiny smoke readytiny smoke Prefill 1.78 / Decode 5.23 TPS，不进主表Boundary evidence；主推荐置灰
Kimi-K2.5RAWINT4能进入模型加载，单卡 24GB GPU 卡在 lm_head CUDA OOM无 TPSBlocked
GLM current candidatesNVFP4/overlay 诊断GLM-4.7/5.1 FP8 权重未发现；GLM-4.5 tmp 被量化配置和 capability 阻塞无 TPSBlocked
Ascend NPU 旧页面旧 server 或 local_chat 路径历史文档无 TPS当前不支持
Intel xPU 旧页面旧 server 或旧 Docker 路径历史文档无 TPS当前不支持
ROCm 旧页面旧 local_chat 路径历史文档无 TPSLegacy
AMD CPU 路径AMD BLIS / CPU 侧路径等待公开硬件验证组合无 TPS支持方向 / 待 AMD 验证

微调 Backend

当前 KT SFT 指通过 LLaMA-Factory 运行 MoE LoRA SFT。KT backend 名称描述的是 CPU expert 执行方式，不是训练全局 mixed precision。

KT backend实际 method状态备注
AMXBF16AMXBF16_SFTCurrent使用 BF16 expert checkpoint。
AMXINT8AMXINT8_SFTCurrent使用已准备的 INT8 expert 权重。
AMXINT4AMXINT4_SFTCurrent / Needs smoke需要说明权重准备路径。
AMX*_SkipLoRASkipLoRA SFT variantsAdvanced不是 quick start 默认路径。
AMXINT4_1* / KGroup*历史 enum 级名称Internal / historical当前用户可选 backend 不包含这些选项。

微调模型

Training 摘要使用端到端 Training TPS。不同模型和硬件组合的训练结果只在相同配置下直接可比。

模型/家族Backend / recipe主指标状态
Qwen3-30B-A3BAMXINT8 LoRA SFT，1 GPU32.45 Training TPSVerified；starter route，20-step stability 为主表值
DeepSeek-V2-LiteBF16/KT LoRA SFT，4 GPU FSDP223.32 Training TPSVerified with caveat；依赖 KT_FORCE_FUSED_EXPERT_LORA=1 和 training shim
Qwen3-235B-A22BBF16/KT LoRA SFT，4 GPU FSDP21.27 Training TPSVerified，advanced/high-RAM
Qwen3.5-397B-A17BBF16/KT LoRA SFT，4 GPU FSDP21.14 Training TPSVerified，advanced/high-RAM；约 924GB system used RAM，依赖 Conv3D guard shim
MiniMax-M2BF16/KT LoRA SFT smoke无 TPSBlocked；remote code / Transformers API 不兼容
MiniMax-M2.5BF16/KT LoRA SFT smoke无 TPSBlocked；缺标准 model.safetensors / pytorch_model.bin 训练入口
Kimi-K2.5LLaMA-Factory preflight无 TPSBlocked；缺 kimi_k25 模板
GLM current candidatesNVFP4/PTQ 诊断无 TPSBlocked；FSDP2/PTQ、quant_method、modelopt_fp4/shape mismatch 阻塞
DeepSeek V4-FlashLLaMA-Factory preflight无 TPSBlocked；训练栈不识别 deepseek_v4
DeepSeek-V3.2LLaMA-Factory preflight无 TPSBlocked；训练栈不识别 deepseek_v32
DPO旧 DPO tutorial无未确认 / 需要验证

如何阅读验证范围

矩阵中的每一行都对应一个精确组合：

模型族 + checkpoint + KT method/backend + 硬件类别 + serving/training 入口 + 包/版本限制

如果你的模型路径、backend、硬件或包版本不同，请先用当前源码入口完成最小验证，再比较 Prefill/Decode TPS 或 Training TPS。

相关页面：