KTransformers

CPU/GPU 要求

KTransformers serving 同时依赖 GPU 显存和 CPU expert 吞吐。可用配置是 GPU、CPU ISA、内存容量、NUMA 拓扑、模型 checkpoint 和 KT method 的组合。

基线要求

组件建议
OS当前公开包主线为 Linux x86-64。
Pythonkt-kernel wheel 支持 Python 3.10、3.11、3.12。
GPU当前 serving 主线是 NVIDIA Ampere 或更新架构。
CPU兼容路径最低 AVX2；高吞吐路径通常需要 AVX512 或 AMX。
内存大型 MoE 模型需要较大系统内存；具体取决于 method 和 CPU 权重格式。
NUMA多 socket 系统需要调 --kt-threadpool-count 和 CPU placement。

当前硬件范围

平台当前状态
NVIDIA GPU + x86 CPU当前 NVIDIA/AMX 工作流的主文档路径。
AMD CPU 路径支持方向保留；当前没有公开的模型验证组合。
Ascend NPU当前公开支持中不包含。
Intel xPU当前公开支持中不包含。
ROCm暂只作为历史文档，等当前包路径验证后再提升。

规划方式

先从模型支持组合开始：

模型 + method + CPU backend + GPU 数量 + 系统内存 + 包版本

再调：

  • --kt-cpuinfer
  • --kt-threadpool-count
  • --kt-num-gpu-experts
  • 如适用，再调 prefill threshold 和 deferred experts

硬件适用范围

硬件支持以具体模型和 method 的 smoke 结果为准。看到“支持某类硬件”时，仍需要核对模型、method、CPU backend、GPU 数量、系统内存和包版本是否一致。