Can I Buy Your KV Cache?
arxiv.org原文 ↗
这篇短文把 KV cache 当成 agent-native 经济对象:热门文档由发布方预计算缓存,后续 agent 购买加载权来跳过 prefill。作者报告预计算 KV 继续生成与从头 prefill 在 24/24 greedy tokens 和 logits 层面一致;在 Qwen3-4B 上复用计算比 prefill 便宜 9-50 倍,但直接传输 KV 因近乎不可压缩会被 egress 成本吞掉。它真正提出的问题是 provider-side prompt cache 能否演化成 prefill CDN 和支付层。
–浏览
评论 · Comments