返回知识中心
入门

Web Crawler vs Web Scraper:爬取与字段提取的边界

区分 URL 发现与字段提取,用交接台账判断是页面漏抓还是记录缺字段,并在选择浏览器之前分别定义覆盖率和数据验收。

BotBrowser Team

Web Crawler vs Web Scraper:爬取与字段提取的边界
文档中心

想直接进入 入门 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

Web crawler vs web scraper 区分的是两类产物:一个有明确范围的获取集合,以及从已获取内容中提取的数据记录。页面可能获取成功,价格字段却仍然缺失。BotBrowser 为获授权的渲染步骤提供 Chromium 浏览器;它不负责发现网站 URL、调度爬取队列,也不定义提取程序必须返回哪些字段。

爬取生成获取台账,字段提取生成通过验证的数据;HTTP 200 本身不能验证记录正确。

TL;DR

  • 爬取决定访问哪些 URL,并管理获取过程;字段提取从内容中选择所需信息。
  • 同一个程序可以承担两项任务,框架名称不能说明是哪类产物出了问题。
  • 爬取前沿保存待处理任务;队列为空,不能证明所有相关页面都已发现。
  • 是否使用浏览器渲染是另一项决定,两类任务都不必然要求执行 JavaScript。
  • 将获取结果与记录验证结果关联起来,再判断采集是否完成。

目录

两项任务分别产出什么

爬取程序选择 URL、调度请求,并记录每次获取的结果。种子可以来自显式清单、sitemap,或已获取页面中的链接。Google 将 crawler 描述为自动发现和扫描网站的程序。一项有用的爬取产物是包含 source_url、发现来源、获取状态与时间的台账。是否保存响应正文是可选决定:可用性检查可能只需要状态和链接。 爬虫逐步运行轨迹沿着起始 URL 解释获取、解析、链接解析与调度,展示已发现的链接为何仍可能没有被获取。

字段提取程序从响应或渲染后的文档中选择信息,再转换为记录。它的契约可能要求 sku、price 和 currency。输入既可以是一份保存的页面,也可以是数千份已获取文档;提取字段本身不要求跟随链接。返回 HTTP 200 的响应仍可能价格为空、布局不符,或者字段值未通过验证。

决策爬取负责字段提取负责
输入获授权的种子和 URL 范围已获取内容与字段模式
工作状态待处理 URL 与获取结果解析结果与候选记录
产物检查哪些已访问、已排除或尚未解决哪些必需字段与记录键有效
典型缺陷允许采集的目录页从未入队已获取商品页没有有效的 price

爬取前沿是尚待考虑的任务队列,不是网站全部内容的清单。漏掉一个分页链接之后,队列仍然可能耗尽。覆盖率需要声明范围和独立完成条件,例如与网站所有者提供的 URL 清单逐项核对。

同一条流水线可以承担两项任务

Scrapy 的架构说明,不能按工具名称僵硬地区分 crawler 与 scraper。一个 spider 可以同时返回已提取条目与新请求;引擎把请求交给调度器,把条目交给数据管道,后者可以验证和持久化。两项职责共用一个框架,并不意味着它们共用同一项验收标准。

对于获授权的商品目录,一个组件可能从 /catalog 发现 /item/42,获取文档,再将文档交给提取器。提取器随后输出价格记录。如果它还输出下一个目录 URL,就同时参与了发现。真正需要明确的是哪个组件负责 URL 决策,哪个负责字段决策。

当所需内容依赖 JavaScript 时,渲染位于获取与解释之间。爬取程序可能为了发现导航链接而渲染页面,提取程序可能为了取得价格而渲染页面;两者也都可能直接处理服务器交付的 HTML。BotBrowser 可以提供浏览器步骤,外围应用仍然负责队列、提取规则与存储记录。 Playwright 浏览器配置说明记录的输入确实需要浏览器时,如何接入这一阶段。

请求数量不能描述全部成本

探索导航的爬取任务可能发出请求,却不生成业务记录。处理已保存文档的提取任务可能生成记录,却不再访问源站。如果两个阶段分别获取 /item/42,源站承担的是重复工作,即使团队最终只看到一行结果。

分别记录源站请求、提取尝试和浏览器工作。可用计数包括 fetch_attempts、render_attempts、parse_attempts 与已接受的记录键。重试归属于实际发起它的阶段:针对保存正文修复解析器,不应自动触发另一轮网络请求。保存正文还需要存储和数据处理政策;并非保存所有响应才算爬取。

请求速率与并发诊断区分请求频率与在途工作。这个区别适用于整条流水线:访问相同 origin 的两个模块共同构成源站负载。浏览器还会渲染,并可能请求页面子资源,因此“一页”不一定等于一次 HTTP 请求。

交接台账需要两套验收

用稳定的获取标识符连接请求台账与提取结果。原始请求 URL 应与重定向后的最终 URL 一起保存;不能让重定向悄悄改变团队认为自己采集了什么。下面的商品目录行只是契约形状的假设示例,不是测试结果,也不是任何真实网站的观测。

fetch_idsource_url获取结果提取结果决定
f-41/item/41HTTP 200sku=41; price=12.90; currency=USD模式验证通过后接受
f-42/item/42HTTP 200sku=42; price=missing拒绝记录,检查提取阶段
f-43/item/43HTTP 503未尝试保持为未解决的获取

实际台账还应加入 fetched_at、最终 URL、schema_version 与解析状态。如果保存正文,可用内容哈希或存储引用定位重新处理的精确输入。记录键与 URL 分开保存:一份文档可以产生多条记录,多个 URL 也可以描述同一商品。应用已声明的键与验证规则后,再统计唯一记录。

第一套验收将授权 URL 范围与已访问、明确跳过、未解决的条目核对。第二套验收检查那些应该产生记录的输入是否具有必需字段。获取了 3 个 URL、接受了 1 条记录,在缺少这两个分母时,既不能说明“完成三分之一”,也不能说明“全部完成”。索引页可能本来就不输出记录,一次失败的商品获取也可能掩盖多条记录。

URL 身份与数据记录身份不同

爬取去重回答的是:这次获取是否已经排队,或已有结果是否足够新。记录去重回答的是:某个业务实体或观测是否已经存在。两种键不必相同。/item/41 与 /offers/41 可能描述同一商品,而一份 /catalog 文档可能包含多件商品。按 URL 给记录去重,会在前一种情况下保留重复项,在后一种情况下丢掉有效行。

与源站所有者共同确定 URL 身份规则,不要任意删除查询参数。page 参数可能选择另一个目录分段,语言或变体参数也可能改变消费者需要的值。相反,已确认只用于追踪的参数可能不影响获取契约。这些是特定来源的决定;将所有查询排序或删除全部参数,并不是普遍成立的等价规则。

身份决策对获取的影响对记录的影响
保留有意义的 page不同目录分段仍然可达记录可能重叠,仍需自己的键
跟随已授权重定向保存请求 URL 与最终 URL将字段值关联到实际文档
保留不同观测时间后一次获取属于新观测历史数据可能要求 sku 加观测时间
重新处理保存的文档不必再请求源站新 schema_version 可能改变验证结果

对于当前价格表,sku 可能适合作为已声明来源和变体范围内的记录键。对于价格历史,每次覆盖相同 sku 的行会抹掉观测。将消费者使用的键写入交接契约,把 fetch_id 作为来源追踪信息,而不是实体标识符。这样才能解释重复行究竟是意外重复、不同变体,还是有意记录的较晚观测。

命中选择器还不是有效记录

找到名为 .price 的元素,只能说明选择器在这份文档中命中了某个对象。提取契约仍需规定数值解释、单位或货币,以及缺值规则。0.00 与空字符串不能一起变成泛化的假值:零可能是合法金额,空值则可能说明文档缺少必需字段。

针对来源的实际格式设置明确验证用例。假设商品目录的消费者可能要求非空 sku、十进制 price 与已识别的 currency。促销提示、价格区间或会员价,不能仅因占据同一视觉区域就被默认为标准价格。先确定模式允许哪种表示,再用可供运营人员检查的解析状态拒绝不支持的形状。

候选值提取器必须回答的问题保留的结果
price=0.00这个字段允许零吗?有效零值或具名验证失败
price=missing这种记录必须有该字段吗?字段缺失,不能编造零值
price=12.90; currency=USD来源格式支持这种解释吗?带来源信息的类型化金额与货币
多个 .price 元素哪个属于目标商品和价格类型?已消歧的值或歧义失败

即使字段来自浏览器,这些仍是提取检查。渲染可以让元素出现,却不解释它的业务含义。保存模式版本和被拒输入的引用,修正后的解析器才能在同一文档上验证。如果保留输入中根本没有必需字段,调整选择器也无法创造字段;调查应回到输入契约,而不是宣称渲染总能修好采集。

先归属故障再更换工具

如果 /item/42 从未进入前沿,检查种子覆盖、链接发现和范围规则。更换价格选择器无法找回未被发现的页面。如果已经入队但返回 HTTP 503,应先调查获取过程及源站允许的重试政策,再将它计为提取失败。

如果台账中有预期页面,状态为 HTTP 200,但必需价格缺失,检查实际交给提取器的内容。它可能是错误文档、需要渲染的页面,或者解析器已不认识的新布局。导航成功不能证明数据记录有效。告警也应保持区分:fetch_failed 与 required_field_missing 需要不同证据,往往也由不同负责人处理。

运行也可能产生有效但重复的记录。重新获取所有页面或增加浏览器不能修复错误记录键。先比较规范化键、源 URL 与获取标识符,再判断缺陷属于发现去重还是记录去重。

分别定义完成与重新处理

前沿为空,是已接纳任务的停止条件,不是覆盖证明。对于所有者提供的有限商品清单,每个预期 URL 都应对应明确终态:已获取、依据批准范围主动排除,或带原因的未解决。保留这些分类;把失败 URL 从队列移走却不记录,只是在删除不完整证据后制造完成假象。

开放式链接发现可能没有穷尽的分母,此时应声明实际边界:允许的 origin 和路径、种子集合与本轮发现规则。深度限制、时间窗口或主动排除都会改变“完成”的含义。不能将有边界的结果说成“抓完了整个网站”。允许范围由采集所有者决定,发现新链接不代表它自动获准入队。

对预期产生条目的文档另做验收。目录索引可以成功完成爬取,却只生成新请求;商品文档可能生成多条报价。需要每个 sku 一条当前价格的消费者,必须核对预期键,而不是比较输出行数与 HTTP 响应数。将 HTTP 503 保留为未解决获取,不要混进本来就不产生记录的页面。

重新处理是另一份契约。如果团队保留了正文,只修改解析器,就对已识别输入重新提取,并记录新的 schema_version;不要把结果说成从源站取得的新观测。如果消费者要求当前值,就需要一次新的授权获取,并有独立时间与 fetch_id。解析器是否最新与源数据是否最新,是不同属性。

交付时提供两份台账及其核对摘要。爬取负责人确认接纳范围和未解决获取,数据负责人确认必需字段、实体键和拒绝记录。这样部分结果仍然可用,却不会冒充完整结果:消费者可以判断未解决条目是否符合用途,同时保留之后重试或修复解析器所需证据。

首次获取之前确定采集边界

在调度自动请求之前,评估适用的 robots 规则。RFC 9309 明确指出这些规则不构成访问授权;robots.txt 政策与权限的区别将规则检查与技术交付分开。源站条款、团队授权以及预期数据用途仍需独立审查,crawler 或 scraper 这个标签不会改变决定。

第一次获取之前,写下允许的 origin 和路径、停止条件及必需字段。BotBrowser 不授予采集权利,也不提高网站请求限额。队列完成只说明团队政策接纳的工作已经处理,不代表可以扩大该政策,更不保证网站覆盖穷尽。

常见问题

爬取程序一定也是字段提取程序吗?

不一定。链接或可用性审计可以获取页面,却不提取业务字段。同一流水线可以兼任两者,但获取台账与记录模式回答的是不同问题。

字段提取一定需要爬取程序吗?

收到已知且获授权的 URL 清单或保存内容时不需要。需要自己寻找输入时,发现才成为独立需求,而不是提取字段的固有组成部分。

两项任务都需要无头浏览器吗?

只有所需内容或交互依赖浏览器时才需要。增加渲染前,先检查响应是否已经提供所需链接和值。页面某处存在 JavaScript,本身不足以证明这个需求。

来源

实践结论

将 URL 范围与必需字段定义为两份契约,通过 fetch_id 关联;保留未解决获取与无效记录的区别,并在接受本轮任务前核对两者。只有记录的输入说明需要渲染时才增加浏览器,让应用中具名的负责人继续承担发现政策与记录验证。

#Web Crawler#网页抓取#数据流水线

本文属于指南: 浏览器自动化入门:首次运行地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。