Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

这篇研究 FP4 预训练里的 shrinkage bias，尤其指向 E2M1 data elements 的几何来源和系统性影响。摘要提到当前 FP4 hardware paths 和 recipes 仍围绕 NVIDIA Blackwell/Rubin-class systems 与 AMD MI350-series GPUs 上的 E2M1 路线展开，而非均匀格式会天然引入收缩偏差。作者提出 UFP4 recipe，把 4-bit 训练讨论从推理部署推进到预训练阶段。