Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
arxiv.org原文 ↗
SKIM 关注的是自然语言 skill,而不是普通文档压缩:skill 里有步骤依赖、工具协议和可执行 workflow,简单摘要会破坏可用性。它按 skill 复杂度自适应生成不同数量的 soft tokens,形成多分辨率过程知识压缩,并且强调离线、轻量,适合频繁更新的社区 skill。实验里 skill 被压到原 token 长度的 30%-60%,同时任务表现比既有压缩方法保留得更好。对于 agent skill 生态,这篇的看点是把“常用技能反复塞进上下文”的成本问题具体化到 prefill latency 和 procedural fidelity。
–浏览
评论 · Comments