每日 Harness 开源 · Source
返回本期 · Back to 2026-08-20

开源 / 项目 · Projects2026-08-20 · Thursday, August 20, 2026

[HyperSAE - Sparse Autoencoders, reimagined in hyperbolic space](https://github.com/vishal-dehurdle/hypersae) - HyperSAE 在 forward pass 保持 Euclidean 高速路径,只把层级概念关系放进 Poincaré 权重正则,另以异步 co-activation queue 控制显存。Gemma-2-2B Layer 13、20M FineWeb-Edu token 的报告称,在相近稀疏度下重构 MSE 降 9.8%、交叉熵恢复率增 3.4%,适合拿来检验双曲几何是否真的改善可解释特征。

github.com原文 ↗

[HyperSAE - Sparse Autoencoders, reimagined in hyperbolic space](https://github.com/vishal-dehurdle/hypersae) - HyperSAE 在 forward pass 保持 Euclidean 高速路径,只把层级概念关系放进 Poincaré 权重正则,另以异步 co-activation queue 控制显存。Gemma-2-2B Layer 13、20M FineWeb-Edu token 的报告称,在相近稀疏度下重构 MSE 降 9.8%、交叉熵恢复率增 3.4%,适合拿来检验双曲几何是否真的改善可解释特征。
–浏览

评论 · Comments