论文 · Papers2026-05-29 · Friday, May 29, 2026

Periodic RoPE for Infinite Context LLMs

上下文工程系统·基础设施

这不是简单拉长插值，而是把局部位置和全局交互分层处理，因此理论上避免无限外推。摘要仍较短，实际有效性取决于任务是否需要精确全局顺序，而 NoPE 全局层可能牺牲一部分位置可辨性。

–浏览

评论 · Comments