[HyperSAE - Sparse Autoencoders, reimagined in hyperbolic space](https://github.com/vishal-dehurdle/hypersae) - HyperSAE 在 forward pass 保持 Euclidean 高速路径,只把层级概念关系放进 Poincaré 权重正则,另以异步 co-activation queue 控制显存。Gemma-2-2B Layer 13、20M FineWeb-Edu token 的报告称,在相近稀疏度下重构 MSE 降 9.8%、交叉熵恢复率增 3.4%,适合拿来检验双曲几何是否真的改善可解释特征。
github.com原文 ↗
–浏览
评论 · Comments