微调模型教程
这个页面用于判断哪些模型教程可以放进当前 SFT 文档,哪些还需要验证。
当前教程候选
| 模型家族 | LLaMA-Factory example | 当前 KT SFT 范围 |
|---|---|---|
| DeepSeek V2 Lite | deepseek_v2_lora_sft_kt.yaml | AMXBF16、AMXINT8、AMXINT4;生产口径前需要 smoke。 |
| DeepSeek V3-0324 | deepseek_v3_lora_sft_kt.yaml | 只写 AMX SFT;FP8 源 checkpoint 需要先按目标 backend 转换或准备权重。 |
| Qwen3-235B-A22B | qwen3moe_lora_sft_kt.yaml | AMX SFT;需要在文档硬件 tuple 上跑通 runtime smoke。 |
| Qwen3.5-397B-A17B | qwen3_5moe_lora_sft_kt.yaml | 优先把 AMXINT8 作为首个文档路径,BF16/INT4 需要分别记录后再写。 |
暂不作为当前支持
| 主题 | 状态 |
|---|---|
| Kimi K2 / Kimi K2.5 SFT | 暂不作为当前公开支持。在当前 LLaMA-Factory 路径存在并通过 smoke 前,不放入 SFT quick start。 |
| DPO | 当前 KT 集成下尚未确认。验证前不写入当前支持声明。 |
旧 kt_optimize_rule 教程 | 历史材料。发布为当前文档前,需要按当前 LLaMA-Factory 配置重写。 |
每个教程必须写清
每个模型教程都应明确:
模型 checkpoint + 源精度 + 目标 KT backend + 转换步骤 + 硬件 tuple + 启动命令 + 验证结果
DeepSeek V3 系列 SFT 教程必须同时解释 AMXBF16、AMXINT8、AMXINT4 三个精度路线。