网络爬虫

定义

网络爬虫是自动发现、访问并提取网页信息的程序，常用于搜索索引与资料收集。

使用场景与易混概念

持续遍历网站的爬虫与用户发起一次任务后抓取页面的工具并不完全相同。统计 Agent 流量时，需要区分访问目的与触发方式，不能只凭访问次数判断是在训练模型。