Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
arxiv.org原文 ↗
文章让运行中的工具报告剩余比例或“即将结束”信号，替代服务端对调用时长的事前猜测。四个公开语料发现多数等待时间已有可读进度，接入生产引擎后工具返回后的 p90 TTFT 降低约 20.7% - 20.8%；KV cache 管理因此获得了调用内部状态这一新输入。
–浏览
评论 · Comments