Latent Reasoning with Normalizing Flows
arxiv.org原文 ↗
NF-CoT 用 normalizing flows 建模连续 latent thoughts,试图保留 CoT 的 left-to-right generation、概率采样、KV-cache 兼容和 tractable likelihood。它在 LLM backbone 内加入 TARFlow-style flow,连续思维位置由 NF head 生成,文本位置继续走标准 LM head。论文摘要称其在 code-generation benchmarks 上超过 explicit-CoT 和既有 latent reasoning baseline,同时显著降低中间推理成本;真正值得看的是它把 latent reasoning 拉回自回归解码约束内。
–浏览
评论 · Comments