DiffusionBench: On Holistic Evaluation of Diffusion Transformers

DiffusionBench 提出 NanoGen 统一训练和评估 ImageNet class-conditional 与 text-to-image diffusion transformer，避免只用 ImageNet FID 代表模型能力。NanoGen 支持 RAE、VAE、pixel-space 和 MeanFlow，12 行配置变化即可切到 T2I；21 个 latent diffusion models 的 ImageNet 与 T2I 排名 Pearson correlation 为 -0.377 到 -0.580。结果说明 DiT 架构选择会被单一 benchmark 误导，特别是当研究目标已经扩展到文本条件生成时。