返回知识中心
入门

网页抓取:抓取预算与礼貌性基础

用请求间隔、并发、暂停和重试规划经授权的网页抓取,算清有限请求预算,区分请求启动、成功页面与未完成结果。

BotBrowser Team

文档中心

想直接进入 入门 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

网页抓取容量,是爬虫在指定时间窗口内能够尝试的授权工作量。站点允许的流量和采集系统可持续承受的资源共同限制它。增加执行器不能扩大站点所有者授予的许可,而启动一次请求,也不等于成功采集一个页面。

BotBrowser 文档说明了授权浏览器自动化中的共享浏览器上下文、并发页面限制和内存监控能力。它不能授予站点抓取预算、识别未公开的请求上限,也不能把部分结果变成完整结果。部署选项能够帮助管理抓取的浏览器环节;许可、请求记账和停止决策仍由操作者负责。

要点

  • 先约定允许的源、时间窗口、计数单位和流量上限,再规划任务。robots 允许规则不是访问授权,也不是数字配额。
  • 并发描述同时进行的工作,间隔决定新请求何时开始。共享预算的所有执行器必须同时遵守两种约束。
  • 容量算术给出准入上界。延迟变化、失败和应用就绪等待,都可能减少有用结果。
  • 暂停和重试消耗窗口或请求额度。保留剩余 URL,不要把预算耗尽描述成抓取完成。
  • 浏览器子请求也要计入所有者规定的流量范围。一次导航可能产生多个请求。

目录

假设抓取预算:900 个计划启动机会,减去暂停损失的 120 个和重试预留的 30 个,最多剩 750 个新 URL 启动机会,不是 750 个成功页面。

抓取预算的两种含义

Google 用抓取预算描述 Googlebot 能够且愿意抓取多少内容。大型站点抓取预算指南区分抓取容量限制与抓取需求。这是 Google Search 的解释,包含 Google 自己的资源和调度决策,不是每个网站向任意爬虫分配的标准配额,也不承诺抓取后的页面一定进入索引。

对于自行运营的爬虫,应从两个独立输入出发:站点所有者允许什么流量,以及采集系统能持续承受什么流量。前者可能包含批准路径、时段、请求间隔、并发数、传输量和禁止操作;后者取决于执行器占用时间、CPU、内存、带宽及后续处理。两者都可能在运行中变化,不能藏进一个没有说明的“安全速度”常量。

许可需要说明计数范围。一份额度可能覆盖某个源上项目全部执行器的流量,也可能针对一个登录账号或特定 API 资源。RFC 6585 第 4 节有意不规定服务器在返回 429 时如何识别用户、如何统计请求。客户端无法仅凭状态码推导通用范围,应向所有者确认哪些流量共享批准额度。

robots 规则是另一个输入,不能替代约定。RFC 9309明确指出,这些规则不是访问授权。路径被允许本身不代表可以每秒请求一次、同时打开十个页面或整夜采集。没有收到 429,也不能证明当前频率已经获准或可以持续。

因此,礼貌性有明确的操作含义:遵守约定边界和适用的 robots 规则,让执行器共享额度,并在过载或许可撤回时采取保守响应。把同一任务悄悄分散到更多身份,只改变了流量来源,没有扩大授权。如果所有者撤回访问许可,应停止受影响的工作,而不是另找通道继续。

计算有限请求预算

假设读者拥有一个目录站点,并提供已知的 900 个唯一 HTML URL。所有者明确批准整个任务每秒最多启动 1 个请求,同时在途请求不超过 2 个。采集窗口假设为 900 秒,每个本地请求槽位占用 0.5 秒。这些都是示例输入,不是性能测量,也不是从真实服务器反推的限制。

在简单的稳定负载近似中,本地吞吐量不能超过可用槽位数除以单槽占用时间。2 个槽位、每次占用 0.5 秒,得到每秒 4 次请求启动的近似上限。所有者规定的每秒 1 次更严格。即使准备更多浏览器执行器,也不能超出约定频率。

输入或计算假设值含义
已知目标集合900 个唯一 URL所有者提供的覆盖率分母
批准的启动间隔1 请求/秒示例中共享的启动上限
并发请求上限2 个请求同时执行的授权请求数
本地槽位占用0.5 秒假设,不是基准测试
本地近似2 / 0.5 = 4 请求/秒假设条件下的资源上限
实际约束频率min(1, 4) = 1 请求/秒两种约束都要满足

这个近似适合识别哪一种约束更紧,不适合预测完成时间。它假设始终有可执行工作且占用时间稳定。真实延迟分布包含慢响应、超时和连接开销。浏览器任务等待应用状态时,也可能一直占着页面槽位。后续规划应使用小规模授权运行观察到的占用时间,并将这种观察与许可上限分开。

把示例调度定义清楚:在包含 0、不包含 900 的半开时间窗口内,于整数秒 0 到 899 各安排一次启动,共 900 个计划机会。示例不允许突发,未使用的机会到期作废,不积累成稍后的突发额度。这个约定让计数可复核;采用其他获准调度约定时,需要重新计算。

即使没有中断,900 个启动机会也不保证截止前完成 900 个页面。最后一个请求可能在启动窗口结束后才返回,一些响应可能失败。应说明截止时是禁止新启动、要求全部流量停止,还是允许在途请求自然结束。如果所有者要求窗口结束后完全静默,就应预留足够时间停止或取消在途工作,不能在边界前一刻继续发起请求。

响应变慢时,请求频率与并发的区别就会显现。每秒启动 1 次、占用 0.5 秒时,2 个并发请求的限制不会成为瓶颈。如果每次改为占用 3 秒,2 个槽位就无法维持原计划,本地近似降为每秒 2 / 3 次,尚未计入其他开销。没有槽位时,调度器必须跳过或延后启动,不能为了维持计划而忽略并发上限。

计入暂停重试和浏览器请求

继续使用同一个假设任务:从第 300 秒起暂停所有启动,直到第 420 秒才恢复,即包含 300、不包含 420。暂停移除了原计划中的 120 个机会,剩余准入上限是 900 减 120,等于 780 次请求尝试。再假设操作者从中预留 30 次重试,则新 URL 首次尝试最多只剩 750 次。这是额度分配,不是某个已运行爬虫的结果。

计算步骤剩余机会不能由此证明什么
原始整数秒计划900截止前完成的响应数
减去暂停损失的 120 次启动780成功的目录页面数
分配 30 次重试新 URL 最多 750 次成功覆盖 750 个唯一 URL
对照 900 个目标 URL该分配下至少 150 个没有首次尝试最终成功率或真实运行结果

30 次重试包含在 780 次之内,不能额外加上去。如果最终只需 10 次重试,余下 20 次只有在仍有合规时间、且调度策略允许时,才能释放给新工作。如果预留不可回收,750 的上限就不变。应明确采用哪种策略,不要在比较任务时悄悄混用预留预算与实际重试消耗。

HTTP 429 表示服务器认为客户端在某段时间内发送了过多请求。MDN 状态码说明指出,响应可能带有 Retry-After,但不保证一定存在。该响应头的说明列出两种形式:非负整数秒数或 HTTP 日期。应保留收到的原值,以及解释日期时使用的时间。

适用响应要求稍后重试时,受影响工作不能安排在该时间之前。本地策略可以等得更久,也可以停止任务。响应头缺失或无效不代表适合立即重试,应遵守所有者约定及保守、有界的恢复策略。反复提速探测不可见上限不是容量规划。具体节奏诊断由请求限速与并发说明覆盖;容量表需要抓住更窄的事实:暂停会减少可用准入机会。

浏览器流量还需要单独确定计数方式。一次导航可能请求 HTML、脚本、样式、图像和应用数据,重定向与重试也会增加请求。限制页面级执行器,并不能直接限制每个源的请求启动频率。如果所有者额度覆盖发往该源的全部请求,适用的子请求就必须共同计数。不能只因为顶层导航有间隔,就声称整个浏览器流量符合约定。

第二个假设计算中,每个页面在批准范围内恰好需要 5 个请求。那么 750 次请求额度最多支持 150 次页面加载,尚未扣除失败或重试。这不是通用换算:缓存、不同页面资源和后台轮询都会改变请求数。其他源的流量还要分别确定授权与记账。如果流程无法控制或可靠约束有关请求,应重新约定获准的获取方案,而不是声称导航限速器已经足够。

解释部分抓取结果

容量受限的抓取可以有价值,但不一定完整。关键是诚实的分母,以及保留下来的剩余工作。对于 900 个已知目录 URL,应记录每个目标的当前状态和尝试历史。爬虫阶段详解区分排队、执行、延期和终态工作。窗口耗尽是一种停止原因,不代表队列中所有 URL 都成功结束。

请求账本和 URL 账本应分开。一次请求尝试记录派发及其结果,同一个 URL 可以有多次尝试。成功重试不能算作第二个已覆盖 URL,失败尝试也不能抹去该 URL 尚未解决的事实。如果约定把重定向计为额外请求,就记录这份流量,不能把它当成另一个成功采集的目录项目。

建议的 URL 状态停止时的含义报告后果
尚未启动从未获准开始首次尝试在已知集合中未覆盖
延期等待允许的时刻或条件待处理,不是成功页面
执行中尝试尚无记录结果是否完成仍未知
终态失败恢复策略结束仍无可用内容在该策略下覆盖失败
可用结果响应满足项目内容要求按声明要求计为覆盖

这些是应用层建议状态,不是 HTTP 标准术语。运行前就要定义什么结果可用。HTTP 200 可能是登录页、错误外壳,或缺少目录内容的页面。下载完成的响应仍可能解析失败;解析成功的页面也可能缺少后续提取器要求的字段。覆盖报告需要说明自己的成功标准,不能把这些阶段互相替代。

表中的 750 是假设条件下新 URL 启动数的最大值,没有提供观察到的成功页面分子。合理的规划表述是:“固定采用这份额度分配时,900 个已知 URL 中至少 150 个无法获得首次尝试。”这不等于“爬虫采集了百分之 83”。真实覆盖率需要已记录的可用结果,时间或资源限制也可能让超过 150 个 URL 从未启动。

依赖发现的抓取还有额外限制:完整 URL 集合可能未知。这时应报告已准入集合或所有者提供集合的覆盖情况,并说明集合如何获得。即时队列为空不能证明不存在尚未发现的页面,大量请求也补不出缺失的分母。保留种子、范围、排除项和发现限制,才能解释后续任务目标集合为何变化。

规划并记录首次授权运行

先选所有者批准的有界子集,覆盖任务所需的页面类型。请求许可额度与本地执行器配置分开记录。观察响应占用、请求派生数量和内存,但不要把小样本当成站点永久容量。安静时段中的缓存页面,与随后需要获取未缓存应用数据的运行,可能差别很大。

BotBrowser 性能文档介绍了多个 BrowserContexts 共享浏览器、关闭闲置页面、限制并发页面和监控内存。这些资源管理选项适用于需要浏览器的授权采集,但不会替爬虫执行站点请求约定。独立上下文仍可能共同消耗一个源的额度,增加上下文也可能加大额度压力。

根据观察,选择保守的本地占用估计及有限工作切片。如果资源跟不上获准频率,就减少计划准入,或经所有者批准延长窗口;如果站点额度更严格,就让部分本地资源空闲。这两种情况都正常。利用率优化必须排在许可边界和正确结果保存之后。

记录内容作用
许可依据、源和批准路径确定实际授权目标
计数范围、间隔和并发请求上限确定哪些流量共享预算
窗口约定及结束行为明确启动和在途收尾假设
暂停区间与重试分配策略解释原计划扣减
尝试次数、可用 URL 集合和剩余集合区分流量消耗与覆盖
停止原因与下次可运行条件让继续执行成为明确决策

恢复任务前需要重新检查资格。把延期队列带到明天,不会自动延续昨天的许可、站点健康状况或时间窗口。应核实当前约定,保留此前尝试记录,除非批准任务要求刷新,否则避免重复采集已有可用结果的 URL。多个执行器应从共享预算取得准入,不能各自独立使用整份额度。

常见问题

增加并发会增加抓取预算吗?

当占用时间是瓶颈时,它可能提高本地资源上限,但不能扩大所有者额度、取消请求间隔,也不保证有用响应。采用适用约束中更低的那一个,并合并计算全部执行器。

robots.txt 能为所有爬虫规定请求速率吗?

RFC 9309 不定义通用请求速率额度,也不授予访问授权。有些工具支持额外约定,但不能把不支持的指令或允许路径当成某个假设流量速率的许可。

暂停抓取是否代表失败?

不一定。计划内暂停或按服务器要求暂停,可能正是正确行为。报告实际可用结果及延期剩余项,只有许可、时间和资源条件都满足后才恢复。

来源

实践结论

有限授权抓取应先记录站点请求约定、确定窗口计数方式,再计算准入上限和选择执行器数量。扣除暂停与重试预留后,把成功 URL、请求尝试和剩余工作分别报告。假设的 900 次启动计划扣减后,最多留下 750 次新 URL 启动,并不能证明获得 750 个可用页面。规模更小、过程可解释且保留剩余项的抓取,才便于规划下一次授权运行。

#网页抓取#抓取预算#礼貌性#容量规划

本文属于指南: 浏览器自动化入门:首次运行地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。