KTransformers

Qwen 模型

Qwen 同时有推理教程和当前 SFT 候选。Qwen 各入口的 method 和硬件路径差异较大,模型页必须写成精确 tuple。

推理

模型入口Method状态
Qwen3-Coder-Next手动 SGLang-KT 教程FP8BF16Needs smoke。
Qwen3.5手动 SGLang-KT 教程当前教程方向为 BF16需要主线化和 smoke。
Qwen3-30B-A3BKT-Kernel README 示例BF16AMXINT8LLAMAFILE需要按 method 分别 smoke。

微调

Qwen SFT。Qwen3-235B-A22B 和 Qwen3.5-397B-A17B examples 位于 LLaMA-Factory examples/ktransformers/

文档来源

  • doc/en/kt-kernel/Qwen3-Coder-Next-Tutorial.md
  • doc/en/Qwen3.5.md
  • kt-kernel/README.md
  • LLaMA-Factory examples/ktransformers/train_lora/qwen*.yaml