安装指南
KTransformers 当前公开包入口分成两条路径。先根据任务选择对应安装方式。
| 任务 | 包组合 | 适用场景 |
|---|---|---|
| 推理 | kt-kernel sglang-kt | 用 kt run 或 SGLang-KT 启动模型服务。 |
| 微调 | ktransformers[sft] | 通过 LLaMA-Factory 运行 MoE LoRA SFT。 |
推理安装
pip install kt-kernel sglang-kt
kt-kernel 提供 KT MoE expert backend。sglang-kt 提供当前 KTransformers 推理文档使用的 SGLang serving 路径。
验证命令行工具：
kt version
kt doctor
然后继续阅读首次启动推理服务。
微调安装
LLaMA-Factory SFT 推荐流程：
cd /path/to/LLaMA-Factory
pip install -e .
pip install -r requirements/ktransformers.txt
requirements/ktransformers.txt 应包含公开 KT SFT 入口：
ktransformers[sft]
这会安装 ktransformers 及其 SFT 依赖，包括 kt-kernel、transformers-kt 和 accelerate-kt。它不会安装 sglang-kt，因为 sglang-kt 只属于推理路径。
然后继续阅读首次运行 LoRA SFT。
运行模型前
把具体模型教程当成当前支持前，请先查看支持矩阵。旧页面可能仍为追溯保留，但旧 local_chat.py、ktransformers/server/main.py、balance_serve 和 kt_optimize_rule 路径都属于 legacy，除非页面已经明确重写。
后续常用页面：