A study of sequence weighting at scale

Jane Street 在 500M - 72B 的 Qwen 2.5 及内部稠密/MoE 模型上测序列权重指数 p*，发现规模关系不是平滑幂律，而是小→中→大模型的先升后降。小模型学一般模式，中等模型按权重吸收数据特异性，大模型容量足够后又接近“权重无关”；这为数据混合缩放律应保留大模型实测提供了具体证据。