KTransformers

GLM 模型

GLM 当前以推理为主,文档应写成精确环境 tuple。

推理

模型入口Method状态
GLM-5手动 SGLang-KT 教程FP8BF16Needs smoke。
GLM-5.1手动 SGLang-KT 教程视页面为 FP8BF16FP8_PERCHANNEL需要隔离环境 smoke。

GLM-5.1 可能需要特定 Transformers 栈。不要把 GLM-5 和 GLM-5.1 合并成泛泛的支持声明。

文档来源

  • doc/en/kt-kernel/GLM-5-Tutorial.md
  • doc/en/kt-kernel/GLM-5.1-Tutorial.md