每日 Harness 开源 · Source
返回本期 · Back to 2026-09-04

博客文章 · Blog Posts2026-09-04 · Friday, September 4, 2026

How concerned should we be about Astra's recurrent architecture?

lesswrong.com原文 ↗

How concerned should we be about Astra's recurrent architecture?
文章把 Astra 解释为沿深度重复同一 transformer 的 looped transformer,而非跨 token 位置维护无限隐状态的 RNN。作者引用 OpenAI 说当前 frontier 模型计算图深度不超过 GPT-4 两倍,估计 Astra 约 3 - 4 次循环;文献中的 Huginn 可训练 32 次并测试 64 次,20B-A2B 的 Loopie 却只用两次,说明更深循环未必更高效。真正的风险变量是未来能否把循环次数当作容易拧大的性能旋钮,以及这种隐藏串行深度是否削弱 CoT 监控。
–浏览

评论 · Comments