博客
EN
DeepSeek V4 Flash 原生 MXFP4 LoRA 微调现已支持

DeepSeek V4 Flash 原生 MXFP4 LoRA 微调现已支持

发布于 2026-10-15 · KTransformers 开源社区原文语言:中文

KTransformers 0.7.2 支持直接对 DeepSeek V4 Flash 的原生 MXFP4 routed experts 进行 LoRA 微调,无需先将专家权重转换为 BF16。

我们已在双 RTX 5090 上完成 20-step 训练 smoke,保存普通与 expert LoRA 权重,并在独立推理进程中加载 adapter。

安装、示例 YAML 和 adapter 加载方式见 DeepSeek V4 Flash LoRA 快速指南。