KTransformers

首次运行 LoRA SFT

KTransformers 微调通过 LLaMA-Factory 驱动。先安装 LLaMA-Factory，再从它的 KT requirements 安装 KT SFT extra：

cd /path/to/LLaMA-Factory
pip install -e .
pip install -r requirements/ktransformers.txt

KT requirements 文件应包含：

ktransformers[sft]

运行示例

使用 LLaMA-Factory KT examples：

CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
  --config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \
  src/train.py \
  examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml

当前公开 KT SFT backend：

Backend含义
AMXBF16BF16 expert backend。
AMXINT8使用已准备 KT 权重的 INT8 expert backend。
AMXINT4使用已准备 KT 权重的 INT4 expert backend。

SkipLoRA 变体可用于高级实验，但不是 quick start 默认路径。

下一步