Constraint Tax in Open-Weight LLMs
arxiv.org原文 ↗
这项实证研究抓到一个很实际的 agent 部署坑:Tool Calling 和 JSON Schema 约束单独测都正常,但联合启用时,多种 open-weight 模型会停止调用工具,同时继续产出合规 JSON。作者把原因追到实现层,指出 schema 被编译成 grammar-based token masks 后,tool-call token 可能在解码时变成不可达;论文配有 2 张图和 14 张表,并提出 Transparent Two-Pass Execution 作为无重训缓解。它提醒生产评测不能把“能调工具”和“能给结构化输出”拆开验收。
–浏览
评论 · Comments