采集中途出现 CAPTCHA：如何诊断挑战

采集中途出现 CAPTCHA，改变的是任务可见的结果，并不能指出变化原因。路由更新、新建浏览器上下文和负载变化，都可能与首次挑战同时出现。BotBrowser 文档提供配置文件驱动的浏览器控制和代理配置，但不授予访问许可，不识别网站内部规则，也不保证任务不会遇到挑战。对于获授权任务，应保留最后一次可用应用响应与首次挑战之间的变化记录，停止依赖它的提取，并请运营者关联真实请求。

摘要

• 挑战属于响应分类，不能证明特定浏览器信号发生变化。
• 比较变化前后的具体请求；之前成功的页面不代表之后每项操作都获准。
• 将路由、浏览器会话和负载变化作为可能解释，而非完整原因列表。
• HTTP 429 表示与速率有关的拒绝；通用 403 或 HTML 挑战不能识别触发规则。
• 保留最少的脱敏事件记录，遵守既有负载预算，仅通过网站批准的流程恢复。

目录

• 挑战表示变化，不表示原因
• 三个排查方向及其可观察项
• 重建数据到挑战之间的时间区间
• 解释负载决策而不猜测安全速率
• 保留最少的事件记录
• 浏览器配置与停止条件
• 实践结论

挑战表示变化，不表示原因

Cloudflare WAF 概念文档区分检测与缓解。检测提供信息；配置的缓解动作可以阻止、挑战或限制请求。文档还说明多类规则及其执行顺序。因此，客户端可见的挑战能证明所观察边界上的动作，不能完整解释选择该动作的检测输入或策略。

首先分类实际收到的文档。Cloudflare 与 DataDome 响应分析区分文档规定的挑战标记与通用拒绝，也区分服务端集成决策和客户端响应。意外 HTML 可能是登录文档、应用错误或中间服务响应。没有特定标记或获授权运营者记录时，应保留分类未知。

找出最后一个满足应用数据约定的响应，以及第一个不满足的响应。仅 HTTP 200 并不满足该约定：成功状态的登录文档没有预期的商品数据。同样，JSON 解析异常只是下游处理失败，不能证明网站数据结构改变。应先停下依赖该响应的解析器，避免发布空输出或删除原有记录。

按层诊断采集阻断区分 DNS、TLS、HTTP 和页面执行。变化记录中也要保留这些区别。请求根本没有获得 HTTP 响应时，旧挑战截图不能解释当前网络故障。应把观察关联到产生它的操作，不能给整个浏览器标签页分配统一判定。

之前可用的响应不是持续有效的访问凭证。账户授权、应用路径和运营者策略都可能因请求而不同。获准访问一种资源，不代表自动获准访问重定向目标或另一个账户的数据。分类告诉采集管道收到了什么；许可仍来自网站约定的访问方法和范围。

三个排查方向及其可观察项

以下方向用于整理变化附近的证据，是候选解释，不是三个已证实或穷尽的原因。客户端不变时，网站规则也可能改变；应用授权问题也可能看起来像防护响应。首次观察到挑战前，还可能同时改变了多个任务变量。

排查方向	值得保留的观察	其他可能解释	获授权运营者的核查
网络路由	脱敏路由标签，以及对应请求经独立核实的出口变化	应用路径不同、路由记录陈旧或无关的服务器规则	将具体请求与获准的边缘和源站记录关联
浏览器或会话	上下文或进程创建、预期配置文件设置及应用会话变化	授权过期，或另一个请求使用了不同上下文	比较获准启动约定与应用会话记录
负载	任务自身统计区间内累计发起和在途请求	其他工作进程、账户或路由共享运营者的计数键	比较命中的运营者规则与实际计数范围

路由配置与路由观察应分开。BotBrowser 代理文档说明 --proxy-server 输入，并要求自行提供代理服务。配置端点不等于每个请求的实际出口。供应商侧变化和已在途请求可能让归因变复杂。应记录故障事务真实可得的路由信息，不能用当前出口检查替代较早请求的观察。

对于浏览器状态，MDN 的 navigator.webdriver 文档描述的是用户代理受 WebDriver 控制的协作式信号。该属性不是完整的厂商判定。自有夹具上观察到值变化，可用于检查配置，但不能识别外部网站为何挑战请求。没有适用的运营者证据，不要把属性不一致写成厂商根因。

对于负载，应把计数及其统计边界一起保留为任务观察。本地计数器可能只统计导航，漏掉图片请求、重试、重定向或其他工作进程。服务器规则则可能只统计匹配表达式的请求。任务和运营者计数未必覆盖相同集合。若干页面之后出现挑战，只是顺序观察，不能证明存在公开的安全页面额度。

重建数据到挑战之间的时间区间

从请求标识和时间开始，不从日志到达顺序开始。并发执行中，较晚收到的响应可能属于较早发出的请求。两种时间都可用时，应区分请求开始与响应观察时间。注明时钟基准，不能悄悄把客户端时间当成运营者服务器时间。时钟未同步时，保留不确定性，不强行建立精确因果顺序。

上下文和任务标识必须关联到同一个事务。创建新浏览器进程、新上下文或恢复应用会话时，另一工作进程可能仍在完成旧任务。全局标签称任务使用某个配置文件，不能证明哪个上下文发出了被挑战的请求。有用的问题是请求是否符合预期的启动和会话约定，而不是同进程的另一页面看起来是否正确。

保留该区间内所有获准的变更记录。路由配置更新有开始和完成边界；应用登录有自己的结果；调度器可以独立启动更多任务。多项变更重叠时，应一起记录并保留原因未定。重建时间区间，不代表获准用一串不同身份重复被拒请求来寻找能被接受的身份。

关联标识前，先检查响应来源。任务或运营者改过配置后，缓存的 HTML 挑战可能继续可见。截图此时只能证明显示内容。工具支持时，应标明缓存、新获取或未知。不能因为浏览器仍显示旧文档，就把旧关联标识归到当前时间。

重定向也需要同样处理。保留请求路径、最终路径和获准记录的重定向历史，不保留签名查询值。最终 HTTP 200 可能属于重定向后的登录页面。目标不在采集授权范围内时，应停止，而不是为完成记录继续访问。完整诊断记录应说明可见性边界，不能暗中扩大任务许可。

响应样本应尽量小。保留状态、内容类型及可用的规定标记，仅保存获准且足以分类的响应体片段。403 响应体仍可能有账户信息或签名 URL。目的是定位获授权故障、便于运营者关联，不是生成可重用会话捕获或无关用户的浏览器指纹。

解释负载决策而不猜测安全速率

MDN HTTP 状态文档将 HTTP 429 描述为一定时间内请求过多。这支持在所观察边界上进行速率相关分类，但不揭示运营者完整计数键、匹配表达式或客户端任务计数与服务器测量的对应关系。通用 HTTP 403 对具体负载规则提供的信息更少。

Cloudflare 速率限制文档说明：表达式匹配请求，达到配置的速率限制后执行所选动作。计数特征和可用功能依套餐而定。因此，挑战可能是配置动作，但仅凭它出现，客户端不能知道匹配了哪条规则。应请获授权运营者查相关记录，而不是编造应该能被接受的请求次数。

速率与并发分析区分请求发起速率与在途并发。在不同路由和工作进程之间，预算仍应绑定同一获授权应用目的。再开浏览器、换地址或拆分上下文，不能创造新许可，也不能重置约定的负载额度。诊断浏览器表面变化前，应先记录已调度的累计工作，包括有界重试。

运营者确认负载策略决策后，应使用其批准的恢复指引。本地暂停可以减少新工作，但不能证明服务器计数已清零，也不能证明延后重试会获准。不能仅因挑战响应体不是有效 JSON，就让工作池继续发依赖请求。停止新的依赖提取，并把已取得数据与事件结果分开保留。

意外挑战也可能与部署或集成变化共存。信息可得时，应比较运营者策略适用时段、应用发布背景和请求区间。仅凭响应顺序，不能区分新规则与客户端流量变化。缺少运营者证据时，应记录原因未解决，不应编造速率公式。

保留最少的事件记录

根据字段用途、观察来源与可见性限制定义记录。下表说明获授权诊断记录需要什么，不是伪造的运行日志。省略秘密和约定范围之外的字段；必要观察不可得时，标明不可用，不填写猜测值。缺失观察本身说明调查无法确定什么。

字段	能确定什么	必须保留的边界
requestId	每项观察对应哪个事务	本地 ID 需要明确映射到运营者关联 ID
startedAt 与 observedAt	请求开始和响应观察的顺序	明确时钟基准与同步限制
taskId 与 contextId	哪个调度任务和浏览器上下文发出请求	上下文标签不是账户许可或配置文件加载凭证
routeLabel	不含凭据的预期获准路由	配置本身不能确定该请求的实际出口
HTTP 状态和内容类型	可见响应类别	成功状态不能确定应用数据成功
变更记录	区间内发生哪些获准客户端变更	先发生的变更不自动成为挑战原因
运营者关联	获提供时，适用规则或集成决策	运营者提供之前，内部证据仍不可得

存储结构中，应区分预期配置与测量结果。例如，routeLabel 属于任务配置，除非独立观察确定了其出口。上下文的预期配置文件引用属于启动约定；无关的浏览器值不能被提升成完整配置文件已加载的证明。这样，即使某些检查从未执行，事件记录仍有用。

保留最后一次可用数据响应和首次已分类挑战的记录，无需复制之前所有页面内容。两者关系比无差别大转储更重要。获准收集时，仅保留最小分类片段和应用结果。共享诊断中排除 Cookie、授权头、代理凭据、签名 URL 和账户数据。运营者关联应使用脱敏标识，不应要求公开私有检测配置。

数据任务输出还应说明提取已完成、已停止还是未解决。不能因为 HTML 挑战替换了 JSON 就发布空价格表或删除原有记录。这属于消费端的数据完整性决策，与厂商分类不同。事件可以仍未解决，同时按应用保留规则保存先前取得的有效数据。

浏览器配置与停止条件

BotBrowser 自动化一致性文档说明依赖配置文件的浏览器行为，以及自动化框架仍需承担的职责。navigator.webdriver 控制要求已加载配置文件；框架创建的绑定和框架何时执行设置是另外的问题。受保护的控制台和运行时 CDP 路径有文档规定的 ENT Tier1 边界。这些控制描述浏览器配置，不是网站内部规则或其访问政策的豁免。

应在自有、获授权的应用夹具中检查任务预期配置，并把夹具观察与受保护网站的响应记录分开。本地属性检查可以识别本地启动约定不一致，不能测量厂商隐藏评分，也不能证明后来挑战的原因。修复自有配置缺陷，与确定有权重新采集，是两个不同结果。

网络也要如此区分。--proxy-server 配置需要有效的外部代理服务及相应目标支持。路由设置不代表网站授予服务访问许可。产品控制可使声明的配置可检查，但不能消除所有网络变化、替代服务端会话授权，或保证策略决策改变。不可得的路由和应用观察应保留未知。

任务开始前应明确停止条件：已分类的挑战、授权拒绝，或无法满足应用数据约定且尚未解决的响应，都应停止依赖提取。保留最少记录，并使用所有者批准的支持或数据访问路径。无需自动解答挑战、重放挑战令牌或改变客户端身份，也能得到有用的诊断结果。

常见问题

几页之后出现 CAPTCHA 能证明限速吗？

不能。该顺序只确定何时观察到挑战。归因需要命中的运营者规则或其他适用证据；HTTP 429 支持速率相关分类，但不揭示完整计数策略。

浏览器配置不变就不会出现挑战吗？

不是。应用授权、负载和运营者策略可以独立于浏览器属性而改变。稳定的客户端配置是一项观察，不是访问承诺。

自有夹具能识别厂商隐藏评分吗？

不能。夹具可记录自己看得到的浏览器和请求行为。厂商私有评分或决策需要另有适用、获授权的证据。

采集任务何时应该恢复？

只有相关访问或集成问题解决后，才通过应用批准的恢复流程继续。等待一段时间或新建浏览器上下文本身不提供许可。

来源

• Cloudflare：WAF 概念
• MDN：HTTP 响应状态码
• BotBrowser：自动化一致性
• BotBrowser：代理配置
• MDN：Navigator.webdriver
• Cloudflare：速率限制规则

实践结论

把新出现的 CAPTCHA 视为请求层面的变化。分类实际文档，比较前后请求，检查路由、浏览器会话与负载变化，不把相关性提升为原因。事件记录不含秘密，保留有效采集数据，并停止依赖提取。下一步应是获准的运营者决策，不是猜测评分或承诺某个浏览器设置会消除挑战。