KTransformers

扩展模型

新增模型文档前,先判断它是 registry model、手动 SGLang-KT 教程,还是 experimental 页面。

最小文档检查清单

  • 模型家族和精确 checkpoint
  • 包组合和版本限制
  • 启动入口:kt run 或手动 python -m sglang.launch_server
  • --kt-method
  • --kt-weight-path 预期
  • CPU ISA/backend 要求
  • GPU 显存和 tensor parallel 假设
  • parser 或 chat-template 要求
  • smoke 结果或明确的 Needs smoke

Registry 候选

满足以下条件时,模型适合进入 registry:

  • 命令可以表达成稳定默认参数;
  • aliases 清晰;
  • tensor parallel 上限和 parser options 已知;
  • kt run <alias> --dry-run 能生成预期启动命令。

手动教程候选

存在以下情况时,先保持手动教程:

  • 需要特殊环境版本;
  • 有模型特定转换步骤;
  • 存在非默认 attention 或量化行为;
  • 所需硬件尚未广泛验证。