Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents

研究者用真实浏览器 agent 重测 robots.txt、CAPTCHA、速率限制和交互式页面等传统防线，关注的不是爬虫能否下载 HTML，而是 agent 能否理解页面并完成目标。测试表明许多门槛只增加步骤数，并未阻止自主导航；论文据此主张把防护从静态指纹转向会话行为与高风险动作授权。