网页抓取:抓取预算与礼貌性基础
用请求间隔、并发、暂停和重试规划经授权的网页抓取,算清有限请求预算,区分请求启动、成功页面与未完成结果。
BotBrowser Team
网页抓取容量,是爬虫在指定时间窗口内能够尝试的授权工作量。站点允许的流量和采集系统可持续承受的资源共同限制它。增加执行器不能扩大站点所有者授予的许可,而启动一次请求,也不等于成功采集一个页面。
BotBrowser 文档说明了授权浏览器自动化中的共享浏览器上下文、并发页面限制和内存监控能力。它不能授予站点抓取预算、识别未公开的请求上限,也不能把部分结果变成完整结果。部署选项能够帮助管理抓取的浏览器环节;许可、请求记账和停止决策仍由操作者负责。
要点
- 先约定允许的源、时间窗口、计数单位和流量上限,再规划任务。robots 允许规则不是访问授权,也不是数字配额。
- 并发描述同时进行的工作,间隔决定新请求何时开始。共享预算的所有执行器必须同时遵守两种约束。
- 容量算术给出准入上界。延迟变化、失败和应用就绪等待,都可能减少有用结果。
- 暂停和重试消耗窗口或请求额度。保留剩余 URL,不要把预算耗尽描述成抓取完成。
- 浏览器子请求也要计入所有者规定的流量范围。一次导航可能产生多个请求。
目录
抓取预算的两种含义
Google 用抓取预算描述 Googlebot 能够且愿意抓取多少内容。大型站点抓取预算指南区分抓取容量限制与抓取需求。这是 Google Search 的解释,包含 Google 自己的资源和调度决策,不是每个网站向任意爬虫分配的标准配额,也不承诺抓取后的页面一定进入索引。
对于自行运营的爬虫,应从两个独立输入出发:站点所有者允许什么流量,以及采集系统能持续承受什么流量。前者可能包含批准路径、时段、请求间隔、并发数、传输量和禁止操作;后者取决于执行器占用时间、CPU、内存、带宽及后续处理。两者都可能在运行中变化,不能藏进一个没有说明的“安全速度”常量。
许可需要说明计数范围。一份额度可能覆盖某个源上项目全部执行器的流量,也可能针对一个登录账号或特定 API 资源。RFC 6585 第 4 节有意不规定服务器在返回 429 时如何识别用户、如何统计请求。客户端无法仅凭状态码推导通用范围,应向所有者确认哪些流量共享批准额度。
robots 规则是另一个输入,不能替代约定。RFC 9309明确指出,这些规则不是访问授权。路径被允许本身不代表可以每秒请求一次、同时打开十个页面或整夜采集。没有收到 429,也不能证明当前频率已经获准或可以持续。
因此,礼貌性有明确的操作含义:遵守约定边界和适用的 robots 规则,让执行器共享额度,并在过载或许可撤回时采取保守响应。把同一任务悄悄分散到更多身份,只改变了流量来源,没有扩大授权。如果所有者撤回访问许可,应停止受影响的工作,而不是另找通道继续。
计算有限请求预算
假设读者拥有一个目录站点,并提供已知的 900 个唯一 HTML URL。所有者明确批准整个任务每秒最多启动 1 个请求,同时在途请求不超过 2 个。采集窗口假设为 900 秒,每个本地请求槽位占用 0.5 秒。这些都是示例输入,不是性能测量,也不是从真实服务器反推的限制。
在简单的稳定负载近似中,本地吞吐量不能超过可用槽位数除以单槽占用时间。2 个槽位、每次占用 0.5 秒,得到每秒 4 次请求启动的近似上限。所有者规定的每秒 1 次更严格。即使准备更多浏览器执行器,也不能超出约定频率。
| 输入或计算 | 假设值 | 含义 |
|---|---|---|
| 已知目标集合 | 900 个唯一 URL | 所有者提供的覆盖率分母 |
| 批准的启动间隔 | 1 请求/秒 | 示例中共享的启动上限 |
| 并发请求上限 | 2 个请求 | 同时执行的授权请求数 |
| 本地槽位占用 | 0.5 秒 | 假设,不是基准测试 |
| 本地近似 | 2 / 0.5 = 4 请求/秒 | 假设条件下的资源上限 |
| 实际约束频率 | min(1, 4) = 1 请求/秒 | 两种约束都要满足 |
这个近似适合识别哪一种约束更紧,不适合预测完成时间。它假设始终有可执行工作且占用时间稳定。真实延迟分布包含慢响应、超时和连接开销。浏览器任务等待应用状态时,也可能一直占着页面槽位。后续规划应使用小规模授权运行观察到的占用时间,并将这种观察与许可上限分开。
把示例调度定义清楚:在包含 0、不包含 900 的半开时间窗口内,于整数秒 0 到 899 各安排一次启动,共 900 个计划机会。示例不允许突发,未使用的机会到期作废,不积累成稍后的突发额度。这个约定让计数可复核;采用其他获准调度约定时,需要重新计算。
即使没有中断,900 个启动机会也不保证截止前完成 900 个页面。最后一个请求可能在启动窗口结束后才返回,一些响应可能失败。应说明截止时是禁止新启动、要求全部流量停止,还是允许在途请求自然结束。如果所有者要求窗口结束后完全静默,就应预留足够时间停止或取消在途工作,不能在边界前一刻继续发起请求。
响应变慢时,请求频率与并发的区别就会显现。每秒启动 1 次、占用 0.5 秒时,2 个并发请求的限制不会成为瓶颈。如果每次改为占用 3 秒,2 个槽位就无法维持原计划,本地近似降为每秒 2 / 3 次,尚未计入其他开销。没有槽位时,调度器必须跳过或延后启动,不能为了维持计划而忽略并发上限。
计入暂停重试和浏览器请求
继续使用同一个假设任务:从第 300 秒起暂停所有启动,直到第 420 秒才恢复,即包含 300、不包含 420。暂停移除了原计划中的 120 个机会,剩余准入上限是 900 减 120,等于 780 次请求尝试。再假设操作者从中预留 30 次重试,则新 URL 首次尝试最多只剩 750 次。这是额度分配,不是某个已运行爬虫的结果。
| 计算步骤 | 剩余机会 | 不能由此证明什么 |
|---|---|---|
| 原始整数秒计划 | 900 | 截止前完成的响应数 |
| 减去暂停损失的 120 次启动 | 780 | 成功的目录页面数 |
| 分配 30 次重试 | 新 URL 最多 750 次 | 成功覆盖 750 个唯一 URL |
| 对照 900 个目标 URL | 该分配下至少 150 个没有首次尝试 | 最终成功率或真实运行结果 |
30 次重试包含在 780 次之内,不能额外加上去。如果最终只需 10 次重试,余下 20 次只有在仍有合规时间、且调度策略允许时,才能释放给新工作。如果预留不可回收,750 的上限就不变。应明确采用哪种策略,不要在比较任务时悄悄混用预留预算与实际重试消耗。
HTTP 429 表示服务器认为客户端在某段时间内发送了过多请求。MDN 状态码说明指出,响应可能带有 Retry-After,但不保证一定存在。该响应头的说明列出两种形式:非负整数秒数或 HTTP 日期。应保留收到的原值,以及解释日期时使用的时间。
适用响应要求稍后重试时,受影响工作不能安排在该时间之前。本地策略可以等得更久,也可以停止任务。响应头缺失或无效不代表适合立即重试,应遵守所有者约定及保守、有界的恢复策略。反复提速探测不可见上限不是容量规划。具体节奏诊断由请求限速与并发说明覆盖;容量表需要抓住更窄的事实:暂停会减少可用准入机会。
浏览器流量还需要单独确定计数方式。一次导航可能请求 HTML、脚本、样式、图像和应用数据,重定向与重试也会增加请求。限制页面级执行器,并不能直接限制每个源的请求启动频率。如果所有者额度覆盖发往该源的全部请求,适用的子请求就必须共同计数。不能只因为顶层导航有间隔,就声称整个浏览器流量符合约定。
第二个假设计算中,每个页面在批准范围内恰好需要 5 个请求。那么 750 次请求额度最多支持 150 次页面加载,尚未扣除失败或重试。这不是通用换算:缓存、不同页面资源和后台轮询都会改变请求数。其他源的流量还要分别确定授权与记账。如果流程无法控制或可靠约束有关请求,应重新约定获准的获取方案,而不是声称导航限速器已经足够。
解释部分抓取结果
容量受限的抓取可以有价值,但不一定完整。关键是诚实的分母,以及保留下来的剩余工作。对于 900 个已知目录 URL,应记录每个目标的当前状态和尝试历史。爬虫阶段详解区分排队、执行、延期和终态工作。窗口耗尽是一种停止原因,不代表队列中所有 URL 都成功结束。
请求账本和 URL 账本应分开。一次请求尝试记录派发及其结果,同一个 URL 可以有多次尝试。成功重试不能算作第二个已覆盖 URL,失败尝试也不能抹去该 URL 尚未解决的事实。如果约定把重定向计为额外请求,就记录这份流量,不能把它当成另一个成功采集的目录项目。
| 建议的 URL 状态 | 停止时的含义 | 报告后果 |
|---|---|---|
| 尚未启动 | 从未获准开始首次尝试 | 在已知集合中未覆盖 |
| 延期 | 等待允许的时刻或条件 | 待处理,不是成功页面 |
| 执行中 | 尝试尚无记录结果 | 是否完成仍未知 |
| 终态失败 | 恢复策略结束仍无可用内容 | 在该策略下覆盖失败 |
| 可用结果 | 响应满足项目内容要求 | 按声明要求计为覆盖 |
这些是应用层建议状态,不是 HTTP 标准术语。运行前就要定义什么结果可用。HTTP 200 可能是登录页、错误外壳,或缺少目录内容的页面。下载完成的响应仍可能解析失败;解析成功的页面也可能缺少后续提取器要求的字段。覆盖报告需要说明自己的成功标准,不能把这些阶段互相替代。
表中的 750 是假设条件下新 URL 启动数的最大值,没有提供观察到的成功页面分子。合理的规划表述是:“固定采用这份额度分配时,900 个已知 URL 中至少 150 个无法获得首次尝试。”这不等于“爬虫采集了百分之 83”。真实覆盖率需要已记录的可用结果,时间或资源限制也可能让超过 150 个 URL 从未启动。
依赖发现的抓取还有额外限制:完整 URL 集合可能未知。这时应报告已准入集合或所有者提供集合的覆盖情况,并说明集合如何获得。即时队列为空不能证明不存在尚未发现的页面,大量请求也补不出缺失的分母。保留种子、范围、排除项和发现限制,才能解释后续任务目标集合为何变化。
规划并记录首次授权运行
先选所有者批准的有界子集,覆盖任务所需的页面类型。请求许可额度与本地执行器配置分开记录。观察响应占用、请求派生数量和内存,但不要把小样本当成站点永久容量。安静时段中的缓存页面,与随后需要获取未缓存应用数据的运行,可能差别很大。
BotBrowser 性能文档介绍了多个 BrowserContexts 共享浏览器、关闭闲置页面、限制并发页面和监控内存。这些资源管理选项适用于需要浏览器的授权采集,但不会替爬虫执行站点请求约定。独立上下文仍可能共同消耗一个源的额度,增加上下文也可能加大额度压力。
根据观察,选择保守的本地占用估计及有限工作切片。如果资源跟不上获准频率,就减少计划准入,或经所有者批准延长窗口;如果站点额度更严格,就让部分本地资源空闲。这两种情况都正常。利用率优化必须排在许可边界和正确结果保存之后。
| 记录内容 | 作用 |
|---|---|
| 许可依据、源和批准路径 | 确定实际授权目标 |
| 计数范围、间隔和并发请求上限 | 确定哪些流量共享预算 |
| 窗口约定及结束行为 | 明确启动和在途收尾假设 |
| 暂停区间与重试分配策略 | 解释原计划扣减 |
| 尝试次数、可用 URL 集合和剩余集合 | 区分流量消耗与覆盖 |
| 停止原因与下次可运行条件 | 让继续执行成为明确决策 |
恢复任务前需要重新检查资格。把延期队列带到明天,不会自动延续昨天的许可、站点健康状况或时间窗口。应核实当前约定,保留此前尝试记录,除非批准任务要求刷新,否则避免重复采集已有可用结果的 URL。多个执行器应从共享预算取得准入,不能各自独立使用整份额度。
常见问题
增加并发会增加抓取预算吗?
当占用时间是瓶颈时,它可能提高本地资源上限,但不能扩大所有者额度、取消请求间隔,也不保证有用响应。采用适用约束中更低的那一个,并合并计算全部执行器。
robots.txt 能为所有爬虫规定请求速率吗?
RFC 9309 不定义通用请求速率额度,也不授予访问授权。有些工具支持额外约定,但不能把不支持的指令或允许路径当成某个假设流量速率的许可。
暂停抓取是否代表失败?
不一定。计划内暂停或按服务器要求暂停,可能正是正确行为。报告实际可用结果及延期剩余项,只有许可、时间和资源条件都满足后才恢复。
来源
- Google Search Central:大型站点抓取预算管理
- MDN:429 Too Many Requests
- MDN:Retry-After
- RFC 6585:附加 HTTP 状态码
- RFC 9309:机器人排除协议
- BotBrowser:性能优化
- BotBrowser:负责任使用政策
实践结论
有限授权抓取应先记录站点请求约定、确定窗口计数方式,再计算准入上限和选择执行器数量。扣除暂停与重试预留后,把成功 URL、请求尝试和剩余工作分别报告。假设的 900 次启动计划扣减后,最多留下 750 次新 URL 启动,并不能证明获得 750 个可用页面。规模更小、过程可解释且保留剩余项的抓取,才便于规划下一次授权运行。
本文属于指南: 浏览器自动化入门:首次运行地图