Creepy crawlies
simonwillison.net原文 ↗
Simon Willison 转述 git.kernel.org 维护者的测量:五个节点同时约有 14 个 CPU 核只在为抓取器渲染提交 HTML,成本超过其他合法访问(包括 git clone)。这把“恶意爬虫背景噪声”具体化为长期 CPU 账单,也说明 Datasette 等可爬取服务应把缓存、速率限制和机器人识别纳入容量设计。
–浏览
simonwillison.net原文 ↗
评论 · Comments