Better prompt caching for GPT-6
openai.com原文 ↗
OpenAI 把长代理的经济性落到缓存命中率:共享前缀在 30 分钟窗口内可享最多 90% 输入折扣,并提供 dashboard、诊断原因、显式断点和 prewarm。官方案例中 Manus 从约 85% 命中率提升到 90% 以上,另一应用从 83% 到 91% 且推理成本下降 36%;工程上更关键的是保持工具 schema 与顺序稳定,而不是盲目删除不用的工具定义。
–浏览
评论 · Comments