Akashic: A Low-Overhead LLM Inference Service with MemAttention

Akashic 处理的是长会话 agent 反复回放全部历史带来的 prefill、上下文长度和证据淹没问题。它用 MemAttention 把上下文组织成 bounded chunks，并显式建模 chunk 之间的语义关系；系统层还做 hardware-software co-designed memory placement，把可能一起取回的 chunk 放近，减少检索碎片和 I/O。摘要报告在 4 类 workload、3 个模型规模上，相比强 memory baseline 最高提升 10.2 个准确率点、throughput 最高 1.21x、sustainable request rate 最高 1.88x，说明这是同时面向质量和服务成本的 agent serving 设计。