返回知识中心
入门

网络爬虫是什么:一次抓取的五个阶段

从起始 URL 到下一次请求,逐步说明网络爬虫的范围检查、获取响应、解析文档、发现链接和待抓取队列决策,并保留失败与延期原因。

BotBrowser Team

文档中心

想直接进入 入门 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

网络爬虫是按照既定策略发现网页地址并获取页面的程序。它从已知 URL 出发,获取符合条件的页面,读取内容,发现更多链接,再决定下一个访问地址。循环本身并不复杂;工程工作的重点在于决定哪些 URL 应当进入这个循环。

当页面需要浏览器渲染时,BotBrowser 能够为已获授权的自动化提供 Chromium 浏览器。它不负责提供起始 URL 列表、待抓取任务集合、去重规则,也不授予收集站点数据的权限。爬虫可以使用普通 HTTP 客户端、浏览器,或结合两者。浏览器只是整个流程中的一个获取组件。

摘要

  • 起始 URL 用于启动发现过程,并不能代表属于站点或项目的所有页面。
  • 获取页面需要符合条件的 URL、站点策略判定,以及当前可用的请求时机。发现一个地址并不等于获准请求它。
  • 解析响应与提取链接是两项操作:可用的 HTML 也可能没有任何符合条件的后续 URL。
  • 先根据文档基准解析引用,再检查范围和重复。保留解析后的 URL,以及接纳或拒绝的原因。
  • 待抓取任务集合保存尚未完成的工作。集合为空只说明按已记录的规则没有剩余的合格任务,不能证明所有可能页面都已找到。

目录

五个阶段连接起始 URL、符合条件的请求、解析后的文档、解析后的链接和待抓取任务调度,并明确保留拒绝分支。

五阶段循环

假设有一个位于 https://catalog.example/ 的自有目录。所有者希望爬虫从 /catalog/index 出发,检查 /catalog/ 下的公开 HTML 页面。本次任务排除登录页面、其他源和下载文件。这些是项目自行选择的规则,并非所有爬虫都必须遵循的定义。以下示例是拟议的决策轨迹,不是一次实际抓取的运行输出。

阶段输入决策记录结果
起始/catalog/index这个入口是否属于声明的范围?符合条件的起始 URL
获取符合条件的绝对 URL当前能否发起请求,是否可以继续访问重定向目标?响应,或延期、失败的尝试
解析响应体与元数据应使用哪种文档表示和解析器?已解析文档或明确命名的解析失败
发现文档中的链接引用对应哪些绝对 URL,哪些是新的合格候选?接纳的候选与拒绝原因
调度候选与未完成任务下一个执行哪项合格任务,还有哪些工作未完成?下一次请求、延期项或停止记录

这是便于理解爬虫的模型,不是强制的软件架构。框架可以合并操作,也可以并发执行多个请求。Scrapy 架构文档区分调度器、下载器和 spider:响应交给 spider,新产生的请求则返回调度器。这样的分工让调查者能够追问,究竟是哪一个组件丢失或拒绝了 URL。

Google Search Central 的搜索工作原理同样区分发现、抓取和索引。这些是 Google 搜索公开说明的阶段,不代表每个被发现的 URL 都会被获取或收录。用于盘点自有目录的项目爬虫完全可能不构建搜索索引。

爬虫与 scraper 的比较区分获取覆盖率与字段提取。这里的读者产物则是一组 URL 决策。页面可以成功获取并解析,但独立的商品记录提取器仍可能因为价格缺失而拒绝该记录。反过来,对于从未获取过的页面,爬虫不能声称已经发生了记录提取失败。

选择起始 URL 并定义边界

起始 URL 是交给爬虫的初始地址,可以来自配置文件、所有者提供的 URL 列表或 sitemap。假设任务以 https://catalog.example/catalog/index 开始。这个选择只说明发现过程从哪里启动,不能证明所有允许访问的目录页面都能从该入口到达。

起始列表与范围规则应当分开。增加 /catalog/archive 这样的入口,可以暴露同一授权目录中原本不连通的部分。即使主机相同,/account/ 下的起始地址也不符合本次 /catalog/ 限制。爬虫应在发出网络请求之前拒绝它,并记录 outside_path_scope 之类的原因。

边界应当能够被明确求值,而不是一句“留在这个网站里”。本例要求合格 URL 使用 https:,源必须精确等于 https://catalog.example ,路径位于 /catalog/ 下;所有者另外排除 /catalog/private/。源由协议、主机和端口共同构成。品牌或域名后缀相似,不会让另一个源自动成为已获批准的目标。

候选本例的范围判定原因
https://catalog.example/catalog/index接纳目录起始页面
https://catalog.example/catalog/archive接纳所有者批准的额外入口
https://catalog.example/account/拒绝路径不属于声明的目录
https://cdn.example/catalog/index拒绝源不同
https://catalog.example/catalog/private/item拒绝明确排除的私有路径

路径检查应作用于已经解析的 URL,而不是原始字符串中的子串。查找 catalog.example 也可能命中路径、查询参数或另一个主机名。与目标所有者明确约定如何处理编码路径和重定向;不加区分地解码或改写 URL 组成部分,可能改变地址含义。范围匹配器不能替代针对任意输入的授权系统。

这个阶段防止的是无效的覆盖率声明。假设所有者另行提供一份有限的预期目录 URL 清单,就可以将获取结果与它比较,找出缺失页面。没有独立的分母,“找到了所有页面”最多表示找到了这种发现方法能找到的页面。入口再宽、请求数量再大,也不会自动补出缺失的分母。

把起始集合、范围版本和本次运行标识一起记录。如果在执行中途加入 /catalog/archive,之后的发现结果就属于改变后的输入集合。保留这项变更,后续复核者才能解释新出现的 URL,而不是把它误归因于解析器修复或浏览器变化。

获取一个符合条件的 URL

获取阶段把已接纳的 URL 转换成一次请求尝试。发送前,先核对站点规则与项目授权,再判断当前是否允许执行。这是不同的决策:一个 URL 可以位于目录边界内,却仍被适用的 robots 策略禁止、超出所有者许可,或被按源工作的调度器延期。

robots.txt 策略说明讨论命名 user-agent 组和规则解释。RFC 9309明确指出,这些规则不是访问授权。robots 的允许结果不能代替使用条款、同意或访问控制决策;文件不存在,也不意味着私有资源成为获准目标。

请求策略应当记录操作为什么发生。对于假设的 /catalog/index 页面,一次尝试可以保存 request_url、requested_at、policy_version、attempt_number 和获取结果。这些只是建议的应用字段,不是浏览器提供的授权证明;这里的示例值也不代表真实的网络测量。

重定向需要重新检查边界。请求 /catalog/old 可能跳到 /account/login 或另一个源。若只检查初始 URL,随后自动跟随重定向,爬虫就可能离开声明的范围。继续访问前检查下一跳,保留重定向链用于诊断,在下一目标不合格时停止,同时设置有限的重定向次数上限。

收到响应后仍需分类。目录 HTML 页面、以 HTTP 200 返回的登录页、404 响应和临时服务错误,含义各不相同。在响应体处理决策旁边保存状态、最终 URL 和相关媒体类型。不要把每个 HTTP 200 都算作成功的目录页面;应用可能拿到了错误的内容表示。

调度器还需要按源制定请求策略。并发控制同时执行的工作量,间隔控制新请求何时开始,两者不能等同。源站发出过载信号时,应保存延期结果和适用的重试策略,而不是立即进入重试循环。详细的吞吐量计算属于容量规划;本阶段只需要更具体的规则:发现页面不代表现在就适合获取它。抓取容量计算说明暂停和重试预留如何减少有限的请求启动预算。

把请求尝试结果与 URL 结果分开。/catalog/item-7 可能先有一次超时尝试,之后才成功收到响应。账本应保留这段历史,同时让 URL 只有一个当前调度状态。把两次尝试算成两张已覆盖页面会夸大覆盖率;删掉第一次尝试,则会失去解释重试的依据。

解析收到的内容表示

解析是把响应解释为文档。爬虫首先需要知道自己正在处理什么。HTML 解析器、JSON 解析器与 PDF 处理器负责不同任务。如果本次任务只接纳公开的目录 HTML 页面,遇到意外媒体类型就应记录明确结果,而不是一律交给 HTML 链接提取器。

响应 URL 很重要,因为后续引用需要一个基准。如果 /catalog/index 重定向到 /catalog/season/,获取的文档就属于最终位置。相对引用 item-7 从这两个位置解析会得到不同地址。保留获取阶段返回的最终 URL,不要根据起始地址重新猜测。

解析收到的 HTML 与渲染页面也是两件事。HTTP 客户端可以读取响应中已经存在的链接;浏览器则可以执行脚本,生成更多 DOM 节点和链接。Google 在 JavaScript SEO 基础中说明了这些不同路径。这描述的是 Google 的处理流程,不能据此断定任意爬虫都会执行 JavaScript。

应当有意识地选择文档表示。在自有测试页面上,可以比较响应中的链接与应用达到其文档规定的就绪状态后创建的链接。所需目录链接若已经位于响应 HTML 中,这个发现步骤就不需要渲染。若链接仅在应用初始化后出现,则需要设计对应的浏览器阶段,或采用另一个经所有者批准的 URL 来源。

BotBrowser 可以在已获授权的自动化中承担这个浏览器阶段,具体能力见入门文档。它不负责选择就绪条件,也不判断返回的 DOM 是否完整。应用契约必须说明,哪个事件、状态或元素使链接收集具有意义。任意等待固定时间,可能在数据到达前结束,也可能在持续保留后台活动的页面上一直等待。

解析失败应保留为独立分支。响应已经获取、但选定解析器拒绝其内容时,这个 URL 已经完成获取,只是没有成功解释。已解析页面没有符合条件的锚点,也可能是正常结果。两者应分别记录为 parse_failed、parsed_no_candidates 等状态,并由应用定义含义。

这种区分可以避免昂贵而错误的修复。增加浏览器资源不会把登录响应变成获准访问的目录页面。只要内容表示没有改变,重复 HTTP 下载也不会显露由脚本创建的链接。先诊断响应类别和解析对象,再决定是否更换获取组件。

解析链接并拒绝重复候选

发现链接时,最初拿到的是引用,不一定是绝对 URL。目录锚点可以写成 item-7、../archive/ 或 #details。URL 构造器参考说明相对引用如何根据基准解析;对于已解析的 HTML 文档,文档基准 URI还可能受到适用的 base 元素影响。

下表假设已记录的文档基准为 https://catalog.example/catalog/season/ 。它展示本例策略的拟议决策,不是实际运行结果。外部基准会改变解析结果,但解析后的目标仍需接受相同的源检查。

引用解析后的 URL决策
item-7https://catalog.example/catalog/season/item-7新的合格候选
./item-7https://catalog.example/catalog/season/item-7重复候选
item-7#detailshttps://catalog.example/catalog/season/item-7#details按本次片段策略使用相同获取键
../archive/https://catalog.example/catalog/archive/合格候选
/account/loginhttps://catalog.example/account/login超出路径范围
https://other.example/catalog/item-7https://other.example/catalog/item-7超出源范围

先解析,再检查合格性。看似无害的相对链接,在文档基准变化后也可能指向被排除的地址。只接纳适合本任务的协议:mailto: 或 javascript: 引用不是目录的 HTTP 请求。如果通用收集服务接受任意目标 URL,除了本例的范围规则,还必须具有额外的网络目标安全校验。

去重需要明确的键。本次任务在确定网络获取身份时去掉片段,因此三个商品引用共用一个键。这只是该目录的策略,不能证明片段永远不影响应用。客户端渲染路由可以利用片段选择另一种视图;如果该视图属于任务范围,浏览器导航键与底层 HTTP 获取键就可能不同。

不要仅因查询参数看起来重复就删除它们。/catalog/search?page=1 与 /catalog/search?page=2 可能展示不同商品。反过来,经所有者确认的跟踪参数也许可以从调度键中移除。记录获准进行哪种转换以及理由。对整个 URL 排序、转成小写或解码,可能把服务器视为不同的地址合并。

在解析后候选旁边保留原始引用和来源页面。包含 source_url、raw_reference、resolved_url、candidate_key 和 decision_reason 的拒绝记录,能够解释爬虫如何作出选择,也能暴露截断地址或忽略基准的提取器。只保留最后访问列表,会丢失这部分发现证据。

URL 重复与文档重复不是同一个问题。两个不同地址可以返回相同响应体,一个地址也可以随时间返回不同内容。内容哈希可以辅助存储或变化检测决策,但不能证明两种 URL 身份在所有任务中都应合并。待抓取任务集合应使用项目声明的 URL 身份规则;有需要时,再独立记录内容比较。

选择下一次请求并解释停止原因

待抓取任务集合包含等待处理的 URL,以及调度这些 URL 所需的状态。它不一定是内存中的单一队列。小脚本可以使用队列与集合,大服务则可能在多个 worker 之间持久保存工作。两种实现都必须区分已经发现、已入队、执行中、已延期和已完成的任务。

在假设目录中,/catalog/archive/ 可以已经入队,而 /catalog/season/item-7 正在等待允许请求的时间。下一次请求从当前合格的待处理项中选择。广度优先通常先访问更靠近起始地址的链接,优先级策略也可以偏向所有者指定的目录部分。但在页面不可达或 URL 空间持续扩大的情况下,两种顺序都不保证完整覆盖。

任务状态当前已知情况剩余工作
queued候选已通过当前准入检查领取任务并在合格时获取
running某个 worker 持有一次尝试完成或恢复这次尝试
deferred任务仍在,但目前不能执行到记录的时间或条件成立时重新判断
finishedURL 已达到声明的终结结果保存响应和处理结果
rejected已记录的策略排除了候选保留原因,不计为已获取

这些是建议的账本状态,不是框架标准。worker 失败不能悄悄把 running 变成 finished。持久化调度器可以使用租约或其他明确的任务所有权机制,让中断工作能够恢复。恢复也需要去重保护:重试被遗弃的尝试时,不应为同一个获取键产生两个同时持有任务的执行者。

不要用一个笼统的“见过就算完成”集合。若发现 URL 时先将其标为见过,随后写入队列却失败,它可能从后续发现中消失,而从未被获取。准入过程应留下持久的待处理或拒绝结果。同样,请求失败也不会因为 URL 以前出现过就自动完成。账本必须区分重复发现与当前工作状态。

停止条件不能只是当前队列为空。延期项、执行中的尝试和未处理的响应都可能继续产生任务。一次有界运行应说明停止是因为所有已接纳任务均达到终结状态、达到时间或页面上限、操作人员要求停止,还是策略失败阻止继续。不同结果支持不同的覆盖率表述。

例如,若 /catalog/archive/ 已完成,而 item-7 仍被延期,合理结论是“当前没有符合条件的请求,还有一个已接纳 URL 未完成”,不能说“目录已经全部抓完”。所有已接纳 URL 都到达终结状态后,应报告范围、起始集合和各终结结果的数量。所有者独立提供的 URL 清单可以进一步用于覆盖率比较;待抓取任务集合本身无法揭示从未发现的页面。

常见问题

每个网络爬虫都使用浏览器吗?

不是。HTTP 客户端配合解析器即可发现响应 HTML 中已经存在的链接。所选任务依赖渲染后的文档状态时,浏览器才有价值;它仍然需要外部的发现与调度策略。

访问完首页就算抓取结束吗?

只有任务明确限定为这一个 URL 时才算。目录发现任务的起始响应通常会产生更多候选,这些候选都需要被记录的准入决定和终结结果。

canonical 链接会要求爬虫删除另一个 URL 吗?

canonical 声明不能替代项目的获取身份规则。保留观测到的声明,再判断它如何影响任务。不要自动把它当作授权、HTTP 重定向,或两个响应完全相同的证据。

来源

实践结论

为一次获授权的目录抓取准备起始列表、范围规则和有限的停止条件。对每个发现的引用,保留来源、解析后的 URL 与准入原因;对每个已接纳 URL,保留获取、解析和调度结果。这些记录让五个阶段成为可以解释的循环,也覆盖被拒绝或延期的地址。需要时,浏览器可以提供渲染后的文档;授权、发现策略和完成标准仍由爬虫操作者负责。

#Web Crawler#Crawling#Url Discovery#网页抓取

本文属于指南: 浏览器自动化入门:首次运行地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。