每日 Harness 开源 · Source
返回本期 · Back to 2026-06-30

论文 · Papers2026-06-30 · Tuesday, June 30, 2026

Towards Evaluation of Implicit Software World Models in Coding LLMs

arxiv.org原文 ↗

Towards Evaluation of Implicit Software World Models in Coding LLMs
这篇论文把 coding LLM 对软件行为的内部理解称为 software world model,并指出现有 code-execution benchmark 主要覆盖 control flow。作者试图构建更宽的评估方向,衡量模型是否理解状态变化、模块依赖和运行时行为,而不只是能写出通过单测的函数。它与 coding agent 直接相关,因为真实软件维护要求模型预测改动在系统里的连锁后果。
浏览

评论 · Comments