KTransformers

常用模型入口

本页用于选择模型家族入口。精确验证状态以 支持矩阵 为准;单个模型页面会说明当前支持范围和仍需验证的条件。

模型家族当前入口说明
DeepSeek V4-Flashkt run deepseek-v4-flash 或手动 MXFP4 启动窄路径;生产环境使用前要确认包版本和 attention 条件。
DeepSeek V3.2registry FP8 路径为 kt run deepseek-v3.2;教程仍有 AMXINT4 路径registry default 和教程 method 需要统一或解释。
DeepSeek V3 / R1kt run deepseek-v3kt run deepseek-r1当前 registry 存在;旧 server 路径只作为历史参考。
Kimi K2 Thinkingkt run kimi-k2-thinking 或 RAWINT4 手动启动后端相关行为按模型页的当前验证范围使用。
MiniMax M2 / M2.1kt run m2kt run m2.1Registry 包含 parser defaults 和 tensor-parallel 约束。
MiniMax M2.5手动 SGLang-KT 教程在目标环境使用前需要做最小验证。
Qwen3 / Qwen3.5 / Qwen3-Coder-NextBF16、FP8 或 GPTQ_INT4 手动示例按精确 checkpoint 和 CPU backend 选择 method。
GLM-5 / GLM-5.1BF16、FP8 或 FP8_PERCHANNEL 手动示例transformers 版本约束也属于验证组合的一部分。

复制命令前

下面这些字段全部匹配时,命令才适合直接复制:

模型家族 + checkpoint + KT method + CPU ISA/backend + GPU 数量 + 包版本

任何字段变化,都建议把原命令当作起点,并在目标环境完成最小验证。