常用模型入口
本页用于选择模型家族入口。精确验证状态以 支持矩阵 为准;单个模型页面会说明当前支持范围和仍需验证的条件。
| 模型家族 | 当前入口 | 说明 |
|---|---|---|
| DeepSeek V4-Flash | kt run deepseek-v4-flash 或手动 MXFP4 启动 | 窄路径;生产环境使用前要确认包版本和 attention 条件。 |
| DeepSeek V3.2 | registry FP8 路径为 kt run deepseek-v3.2;教程仍有 AMXINT4 路径 | registry default 和教程 method 需要统一或解释。 |
| DeepSeek V3 / R1 | kt run deepseek-v3、kt run deepseek-r1 | 当前 registry 存在;旧 server 路径只作为历史参考。 |
| Kimi K2 Thinking | kt run kimi-k2-thinking 或 RAWINT4 手动启动 | 后端相关行为按模型页的当前验证范围使用。 |
| MiniMax M2 / M2.1 | kt run m2、kt run m2.1 | Registry 包含 parser defaults 和 tensor-parallel 约束。 |
| MiniMax M2.5 | 手动 SGLang-KT 教程 | 在目标环境使用前需要做最小验证。 |
| Qwen3 / Qwen3.5 / Qwen3-Coder-Next | BF16、FP8 或 GPTQ_INT4 手动示例 | 按精确 checkpoint 和 CPU backend 选择 method。 |
| GLM-5 / GLM-5.1 | BF16、FP8 或 FP8_PERCHANNEL 手动示例 | transformers 版本约束也属于验证组合的一部分。 |
复制命令前
下面这些字段全部匹配时,命令才适合直接复制:
模型家族 + checkpoint + KT method + CPU ISA/backend + GPU 数量 + 包版本
任何字段变化,都建议把原命令当作起点,并在目标环境完成最小验证。