GPT-2: Too Dangerous To Release

这篇文章回顾 2019 年 GPT-2 分阶段发布事件，并把 GPT-2 放回 GPT-1 scale-up 的技术脉络。作者指出最大 GPT-2 是 1.5B 参数、48 个 decoder blocks、训练 40GB WebText；OpenAI 先发布小模型和论文，9 个月后释放 1.5B 权重。今天重读它的价值在于看到“负责任发布”的早期范式如何从模型权重延伸到系统卡、受控访问和分级能力发布。