每日 Harness 开源 · Source
返回本期 · Back to 2026-09-09

博客文章 · Blog Posts2026-09-09 · Wednesday, September 9, 2026

Creepy crawlies

simonwillison.net原文 ↗

Creepy crawlies
Simon Willison 转述 git.kernel.org 维护者的测量:五个节点同时约有 14 个 CPU 核只在为抓取器渲染提交 HTML,成本超过其他合法访问(包括 git clone)。这把“恶意爬虫背景噪声”具体化为长期 CPU 账单,也说明 Datasette 等可爬取服务应把缓存、速率限制和机器人识别纳入容量设计。
–浏览

评论 · Comments