CockroachCrawler

CockroachCrawler 将普通 HTTP 抓取、浏览器自动化、PDF 解析、正文抽取和 MCP 接口打包到一套工具链中。调用方可以按页面复杂度在轻量请求与完整浏览器之间切换，并把结果交给 Agent 继续处理。统一接口减少了多种爬取组件的胶水代码，但部署时仍需处理站点条款、限速与不受信任页面内容。