TraceLab: Characterizing Coding Agent Workloads for LLM Serving

TraceLab 收集并发布真实 coding-agent serving trace，而不是用合成 benchmark 估算负载。数据约含 4,300 个 Claude Code 和 Codex 会话、350,000 个 LLM steps、430,000 次 tool calls，来自日常使用。分析显示 coding-agent workload 有长自治循环、长上下文短输出、重尾工具调用，以及高但不完美的 prefix cache hit rate；这些发现直接导向 append-length-aware prefill、semantic-aware tool-latency prediction 和围绕 human-paced gaps 的 KV-cache 管理。