When Agents Implement Systems: A Case Study in Defects, Detection, and Evaluation Rigor

作者让一个编码代理依据既有规格完成多组件数据系统，把存储技术、schema、实体解析和检索策略固定，只观察实现、缺陷修复及交互取舍。单次会话归档了五个缺陷，并在 HotpotQA 上检查“图识别实体集后过滤再排序”与未过滤搜索的 recall 差异。由于缺少 LLM 访问，研究用 gold evidence 标签替代实体识别阶段，且不用 HotpotQA 官方 accuracy 指标；这个实验设计把结论边界写得比一般 agent demo 更清楚。