KTransformers

Runtime Smoke Checklist

将模型、精度、硬件或微调路径从 Needs smoke 升级到 Current 前，使用本检查清单。

推理 Smoke

记录：

  • kt-kernel、sglang-kt 和相关依赖的 commit 或包版本
  • 硬件：CPU SKU、GPU SKU/数量、内存、NUMA 数
  • 模型 checkpoint 和 --kt-weight-path
  • 完整启动命令
  • 请求命令或 OpenAI client 片段
  • 首 token 成功和一段短输出
  • 选中的 KT method/backend 日志
  • 已知 warning 是 benign 还是 blocking

最小请求：

curl -s http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"my-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":32}'

微调 Smoke

记录：

  • LLaMA-Factory commit
  • requirements/ktransformers.txt
  • training YAML
  • Accelerate config
  • kt_config
  • 前几个 training steps 和 loss logging
  • checkpoint/adaptor 输出行为

Smoke 的边界

Smoke 只确认路径能启动并输出，不证明长上下文稳定性、性能、质量、tool calling 或多节点行为。这些需要单独 benchmark 或 evaluation 记录。