How Is Compression Prediction?

文章从概率模型解释压缩与预测的等价：能给下一个符号分配更准确概率的模型，也能用更短码长表示它。负对数概率把预测损失直接转换为编码成本，因此压缩率成为不依赖自然语言主观评分的模型检验。这个视角同时揭示限制：擅长捕捉统计规律足以改善压缩，却不自动证明模型理解了数据所描述的现实。