How to build a diffusion language model

Kuleshov Group 从随机遮蔽和 unmasking transformer 解释 masked diffusion，再展示 block diffusion、encoder-decoder、remasking、蒸馏和 guidance 如何补上变长、纠错和可控生成。文中给出 block 256 tokens 的工程示例；ReMDM 把采样步从 1,024 增至 4,096 时，MAUVE 从 0.40 升到 0.66，接近自回归 0.76，说明“并行生成”仍需要额外迭代换质量。