CLI 参考
kt 命令是 kt-kernel 提供的用户侧 CLI。
主命令
| 命令 | 作用 |
|---|---|
kt version | 显示版本和环境信息。 |
kt doctor | 诊断环境问题。 |
kt run | 启动模型推理服务。 |
kt chat | 与运行中的模型交互。 |
kt model | 管理模型 registry 和模型路径。 |
kt config | 管理 CLI 配置。 |
kt quant | 在支持路径上量化模型权重。 |
kt bench / kt microbench | 运行 benchmark。 |
kt sft | 面向 LLaMA-Factory workflow 的微调辅助命令面。 |
常见推理命令
kt version
kt doctor
kt model list
kt model search m2
kt run m2.1 --dry-run
kt run m2.1
常见 Run Options
| 选项 | 作用 |
|---|---|
--host、--port | 服务绑定地址。 |
--gpu-experts | registry 层的 GPU expert placement alias。 |
--cpu-threads | registry 层的 CPU worker count alias。 |
--tensor-parallel-size | Tensor parallel size。 |
--kt-method | 在适用场景覆盖 KT method。 |
--attention-backend | 覆盖 attention backend。 |
--max-total-tokens | token memory limit。 |
--dry-run | 只打印启动命令，不启动服务。 |
精确命令面以目标环境中的 kt run --help 为准。