I trained a small transformer in 1.5hrs and it beats many LLMs

Mithil Vakde 报告一个从零训练约 1.5 小时、成本约 0.67 美元的 Transformer，在 ARC-AGI-1 得分 44%、ARC-2 得分 7%。关键增益来自每任务 embedding、3D RoPE、SwiGLU、RMSNorm、NorMuon 与更精简的增强；去掉 3D RoPE 或任务 embedding 后约降至 25%，改用 1D RoPE 或移除任务 embedding 约 24%。作者还过滤掉 ARC-2 中重复的 773 个 ARC-1 题，明确处理了训练泄漏争议。