AMX 与 AVX CPU 路径
CPU backend 会影响模型运行方式。同一个模型在 AMX、AVX512、AVX2 和兼容 backend 上可能表现不同。
CPU 特性检查
lscpu | grep -i -E "amx|avx512|avx2|numa"
AMX 预期 flags 包括：
amx-bf16 amx-int8 amx-tile
Method 方向
| CPU 路径 | 典型 method |
|---|---|
| Intel AMX | AMXINT4、AMXINT8、AMX SFT backends |
| AVX512 原生精度 | BF16、FP8、RAWINT4、部分 GPTQ_INT4 路径 |
| AVX2 兼容路径 | 有限 fallback；只有模型页明确支持时再使用 |
| LLAMAFILE | GGUF 兼容 backend |
参数适用范围
AMX 调参建议不一定适用于 AVX2/AVX512 路径。原生精度路径也不一定需要 AMX 转换；只有所选 method 是 AMXINT4 或 AMXINT8 时，才需要对应的 AMX 权重准备。