Auto-research with Codex: How I achieved a 232x Faster Kernel
sankalp.bearblog.dev原文 ↗
作者让 Codex 连续提出、实现和基准测试 QR 分解 kernel,在 14 天和 1,500 多次提交后,把执行时间从约 419,000 微秒降至 1,805 微秒,较基线快 232 倍,并在 183 名参赛者中排第 12。最终方案 `qr_v2` 使用批处理的紧凑 Householder 表示,以 blocked Householder/WY 形式把尾部更新转成 GEMM;103 次刷新最佳成绩把耗时从 108,803 微秒继续压低 98.34%。文中也记录了维护 3 - 5 个候选的 beam 如何跳出局部最优,说明自动优化的瓶颈同时在搜索策略、正确性门禁和硬件测量噪声。
–浏览
评论 · Comments