UltraQuant: 4-bit KV Caching for Context-Heavy Agents

UltraQuant 关注的是长上下文、多轮代理负载中的 KV cache，而不是常见的权重量化问题。论文标题给出的关键设定是 4-bit KV caching，目标是在上下文很重的代理运行中降低缓存占用和推理成本。它值得放进今日重点，是因为代理系统的瓶颈越来越常出现在“保留多少历史状态”而不是“单次生成有多快”。