AMX 与 AVX CPU 路径
CPU backend 选择属于支持声明的一部分。同一个模型在 AMX、AVX512、AVX2 和兼容 backend 上可能表现不同。
CPU 特性检查
lscpu | grep -i -E "amx|avx512|avx2|numa"
AMX 预期 flags 包括：
amx-bf16 amx-int8 amx-tile
Method 方向
| CPU 路径 | 典型 method |
|---|---|
| Intel AMX | AMXINT4、AMXINT8、AMX SFT backends |
| AVX512 原生精度 | BF16、FP8、RAWINT4、部分 GPTQ_INT4 路径 |
| AVX2 兼容路径 | 有限 fallback；只有模型页明确支持时再使用 |
| LLAMAFILE | GGUF 兼容 backend |
文档规则
如果页面给出 AMX 调参建议，不要直接套到 AVX2/AVX512 路径。如果页面给出原生精度建议，也不要暗示必须做 AMX 转换，除非所选 method 是 AMXINT4 或 AMXINT8。