KTransformers

通过 LLaMA-Factory 运行 LoRA SFT

KTransformers 微调由 LLaMA-Factory 驱动。先安装 LLaMA-Factory，再从它的 KT requirements 安装 KT SFT extra：

cd /path/to/LLaMA-Factory
pip install -e .
pip install -r requirements/ktransformers.txt

KT requirements 文件应包含：

ktransformers[sft]

安装内容

ktransformers[sft] 会带入 KT SFT 栈：

包作用
ktransformers面向用户的包和 KT 集成。
kt-kernelCPU expert kernel 和 SFT backend 实现。
transformers-ktKT 兼容的 Transformers 集成。
accelerate-kt支持 KT 配置的 Accelerate 集成。

它不会安装 sglang-kt；sglang-kt 属于推理服务路径。

示例目录

当前 examples 位于 LLaMA-Factory 的 examples/ktransformers/：

examples/ktransformers/train_lora/*.yaml
examples/ktransformers/accelerate/fsdp2_kt_*.yaml

Training YAML 通过下面字段启用 KT：

use_kt: true

Accelerate config 通过下面字段选择 KT backend：

kt_config:
  enabled: true
  kt_backend: AMXBF16

启动形态

从 LLaMA-Factory KT examples 开始：

CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
  --config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \
  src/train.py \
  examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml

训练全局 mixed precision 和 KT backend 名称是两件事。当前 examples 通常使用 BF16 训练，同时通过 kt_config 选择 KT expert backend。

把示例写成生产可用文档前，需要在 Runtime Smoke Checklist 里记录精确 runtime tuple。