KTransformers

微调模型教程

这个页面用于判断哪些模型教程可以放进当前 SFT 文档,哪些还需要验证。

当前教程候选

模型家族LLaMA-Factory example当前 KT SFT 范围
DeepSeek V2 Litedeepseek_v2_lora_sft_kt.yamlAMXBF16AMXINT8AMXINT4;生产口径前需要 smoke。
DeepSeek V3-0324deepseek_v3_lora_sft_kt.yaml只写 AMX SFT;FP8 源 checkpoint 需要先按目标 backend 转换或准备权重。
Qwen3-235B-A22Bqwen3moe_lora_sft_kt.yamlAMX SFT;需要在文档硬件 tuple 上跑通 runtime smoke。
Qwen3.5-397B-A17Bqwen3_5moe_lora_sft_kt.yaml优先把 AMXINT8 作为首个文档路径,BF16/INT4 需要分别记录后再写。

暂不作为当前支持

主题状态
Kimi K2 / Kimi K2.5 SFT暂不作为当前公开支持。在当前 LLaMA-Factory 路径存在并通过 smoke 前,不放入 SFT quick start。
DPO当前 KT 集成下尚未确认。验证前不写入当前支持声明。
kt_optimize_rule 教程历史材料。发布为当前文档前,需要按当前 LLaMA-Factory 配置重写。

每个教程必须写清

每个模型教程都应明确:

模型 checkpoint + 源精度 + 目标 KT backend + 转换步骤 + 硬件 tuple + 启动命令 + 验证结果

DeepSeek V3 系列 SFT 教程必须同时解释 AMXBF16AMXINT8AMXINT4 三个精度路线。