返回知识中心
入门

Browserbase 网页抓取:谁负责什么?

区分 Browserbase 会话状态、保存的 Context、网络路由与留存产物,以及抓取应用自身的结果和责任。

BotBrowser Team

文档中心

想直接进入 入门 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

Browserbase 网页抓取将浏览器执行交给提供方,但应用仍可负责导航、提取和记录验证。重要变化涉及会话终止、保存状态、网络位置与留存产物。BotBrowser 支持在所选执行层使用引擎及画像控制浏览器,并配置代理;它不能配置 Browserbase 的提供方存储或远程运行环境,也不能保证网站授权采集。实际需要明确的边界是:哪一方控制各项设置,以及什么证据能确立所请求工作已完成。验证返回产物与选择托管生命周期是两个问题;另见抓取 API 响应能证明什么。

摘要

  • Browserbase 会话的 COMPLETED 状态不能证明抓取任务完成。客户端崩溃后断开连接,也可能产生该状态。
  • 会话默认从全新用户数据开始。保存的 Context、其写入策略与应用身份验证是否有效,是独立决策。
  • 连接不活动、会话超时和任务截止时间是不同计时边界。keepAlive 允许在剩余会话寿命内重新连接。
  • 浏览器区域与代理出口是不同网络属性。代理地理位置按尽力而为方式提供,并非保证特定国家边界。
  • 日志与录制控制不会清除全部产物。Context、文件传输、运营元数据和第三方处理需要分别管理。

目录

会话状态不是应用结果

Browserbase 的会话管理文档描述了会话从 PENDING 进入 RUNNING,随后到达 COMPLETED、TIMED_OUT 或 ERROR。最终状态不可更改。这些状态描述提供方会话,而非解析器是否产出了所需业务记录。客户端可能取回错误文档、拒绝不完整记录,或在写入输出前失败,而浏览器本身仍正常结束。因此,应用需要在提供方状态之外维护自身结果状态,不能根据控制面板标签推导成功。

对 COMPLETED 而言,这一区别尤其重要。Browserbase 表示,未启用会话保持时,客户端断开连接会正常结束会话,包括脚本崩溃并断开的情况。释放会话、完成 Function,或在启动前结束会话,也可能产生 COMPLETED。按文档规则,即使启用会话保持的会话达到超时,也会得到该状态。这个标签标识终止路径,不能证明提取完成、程序执行了清理,或所请求文档确实存在。

ERROR 的归因更窄:Browserbase 无法启动会话,或内部故障导致会话结束。自动化异常不会产生这一提供方状态。因此,事件记录应分别保存客户端异常和应用最后一个已验证阶段。没有这一区分,团队可能将失败的客户端运行归为健康基础设施,并误计为有效输出。反过来,应用验证失败本身也不能证明 Browserbase 内部发生故障。

三个独立生命周期区分客户端已验证结果、Browserbase 会话状态,以及会话关闭时的 Context 保存。会话完成既不能证明记录有效,也不能证明 Context 已同步。
客户端输出、提供方终止与 Context 持久化,回答不同的完成问题。

浏览器接口比较区分持续浏览器控制与接收已完成结果。选择托管控制接口后,调用方仍需识别最终文档、验证必需字段,并记录输出是否已提交保存。Browserbase 运营远程会话,不会因此默默接管这些应用责任。有效完成记录应将会话标识符对应到客户端结果与验证理由,而不把敏感页面内容复制到通用运营日志。

保存的 Context 具有独立生命周期

Browserbase 的 Context 文档表示,每个会话默认使用全新用户数据目录。复用应用状态需要明确选择 Context 安排,并非重新连接同一提供方账号的自然结果。Context 具有独立资源标识。因此,新会话缺少偏好,与选定 Context 恢复失败不同。诊断状态丢失前,应先确定预期会话是全新状态、使用已保存状态,还是需要更新该状态。

Context 可以从 Chromium 用户数据目录保存 Cookie、localStorage、IndexedDB、会话存储、服务工作线程、已保存表单数据与浏览器偏好。Browserbase 将这些内容与浏览器 HTTP 缓存区分开:普通页面资源会重新获取,但持久化的服务工作线程及其缓存可能影响后续加载。当所有者同时期待偏好被记住、资源行为也保持一致时,这些区别很重要。“已保存浏览器状态”并不承诺每种存储机制都具有相同生命周期,也不承诺每个后续响应都来自网络。

写入条件是 persist: true。Browserbase 表示,变化会在会话关闭时保存,并要求客户在复用 Context 前等待几秒,以便同步完成。因此,关闭前提取到记录,与 Context 已可供下一会话使用,是不同里程碑。应用不应将成功提取解释为最新偏好变化已成为提供方持久状态的证据。等待建议提供的是顺序约束,而非精确同步延迟保证。

persist: false 阻止将变化写回 Context,却不会使目标应用变成只读。会话仍可能提交获授权的应用操作,其服务器端效果会保留,即使本地浏览器变化被丢弃。对测试设计与审查,这一区别很重要:提供方的 Context 写入策略只控制一个存储目的地,并非浏览器活动的所有后果。真正不改变应用的测试用例,除了适当持久化选择,还需要应用层限制。

文档表示 Context 可无限期存在,但其中保存的身份验证可能失效。应用 Cookie 可能过期、密码可能更改、令牌可能被撤销,网站也可能远程使会话失效。Browserbase 将 30 天作为应用 Cookie 过期的示例,并非通用 Context 寿命。显式删除 Context、删除项目与账号变化,也会影响可用性。因此,失效登录需要应用状态诊断,不能假定提供方持久存储就能保证持久授权。

连接不活动不等于任务截止时间

管理参考指出,CDP WebSocket 在双向均无数据 10 分钟后触发空闲超时。客户端发送的命令会计入,交付给客户端的 CDP 事件也会计入。因此,即使客户端不发命令,只要持续收到事件,仍可保持连接超过 10 分钟。“我的代码空闲”与“连接没有传输数据”是不同观测。任何一项单独都不能说明应用是否取得有效进展,还是仅在接收无关页面活动。

会话超时是另一条边界。Browserbase 描述了项目默认值,以及创建时选定的单会话覆盖值。未启用会话保持时,达到会话超时会产生 TIMED_OUT;文档中的会话保持超时路径则产生 COMPLETED。不结合会话配置比较标签,可能掩盖背后相同的截止事件。如果团队要区分提前断开、自然完成与耗尽允许会话寿命,集成记录就需要实际超时值与会话保持设置。

keepAlive: true 表示断开的会话在超时或释放前仍可重新连接。它本身不会延长超时、续期应用登录,也不能证明调用方可以安全恢复业务事务。重新连接的程序可能遇到与最后记录不同的页面状态。重复最后一次操作前,应用必须判断是否已知该操作完成。远程浏览器可用,不是自有应用给出的事务确认。

任务截止时间属于客户端或调度器。浏览器仍可用时,任务可能已经到期;提供方会话也可能早于客户端分配的任务时间结束。应独立记录这些事件,并明确谁释放剩余资源。浏览器上下文容量讨论涉及工作负载单位与资源责任;托管会话只要仍存活,就继续占用容量。控制器断开不能证明远程资源已释放,尤其是在有意启用会话保持时。

这种区分也改善重试分类。连接中断、耗尽会话超时与应用截止时间,可能需要不同恢复决策。调度器不应将三者全部标为提取为空,再启动相同替代工作。会话管理文档确立提供方计时,而应用定义何为进展与完成。重新连接应保留这一区别,而不是把持续浏览器访问视为原始任务仍有效的证据。

浏览器区域不决定代理出口

Browserbase 的区域文档列出 us-west-2、us-east-1、eu-central-1 和 ap-southeast-1,默认是 us-west-2。region 设置选择浏览器运行位置。它可能影响控制器与远程浏览器之间的连接,却不是应用所见 IP 地址的声明。区域标签也不足以证明每项存储产物或后续处理活动的位置。

代理配置是独立设置。代理参考表示,proxies 默认是 false。启用内置选项后,会尽力尝试使用美国代理;若没有合适美国代理,可能使用加拿大等邻近国家。指定代理地理位置同样采用尽力而为方式,请求位置不可用时使用最近代理。所有者不能仅通过记录请求设置,就将这些条件变成特定国家出口保证。

控制器连接到提供方区域中的浏览器,独立代理路由则决定自有测试用例观察到的出口。浏览器区域与实测网络出口被标为不同属性。
浏览器位置描述远程运行环境;代理选择描述通向应用的另一条路由。

对于对位置敏感的自有测试用例,应将请求区域、请求路由与应用观察到的连接信息保存为独立字段。观测只能确立该次运行中测试用例收到什么,不能确立全部请求或存储的地理位置。Browserbase 还记录了域名专属路由规则,因此一个请求的路由未必适用于每个目的地。当数据驻留或后续处理属于合同要求时,浏览器区域和地理位置观测不能替代适用的提供方协议。

BotBrowser 的代理配置文档描述其自身浏览器执行层的路由控制,以及基于出口的地理配置;其浏览器概述描述基于画像控制浏览器暴露属性。这些是产品能力,不是配置 Browserbase 远程运行环境的设置。托管与自行运行比较讨论运营选择;该比较与共享自动化库,都不能证明 BotBrowser 可以替换 Browserbase 会话内部的可执行程序。

录制控制不覆盖全部产物

Browserbase 的可观测性文档表示,会话默认记录日志并录制。它将 CDP 事件、浏览器控制台输出、网络信息与视频回放描述为诊断资源。这些产物可能暴露比最终提取记录更多的信息。文档记载,非 BYOS 项目的回放在终止后最多保留 30 天,BYOS 项目保留 24 小时。这些期限描述录制内容,并非 Context、应用记录或全部提供方产物的通用到期时间。

创建会话时,logSession: false 与 recordSession: false 可分别让该会话退出日志记录与录制。两者默认都是 true,文档表示所有套餐均可使用这些选择。对该会话而言,任一项禁用都是永久的:会话启动后不能重新启用。因此,可观测性是创建时的数据决策,而不是敏感内容已经记录之后再使用的清理开关。缺失回放也可能反映有意配置,而非浏览器失败。

名为 Zero Data Retention 的 Enterprise 账号服务,与这些单独标志的可用性不同。ZDR 文档将该服务限定为 Enterprise 套餐,同时单独说明所有套餐均可按会话退出记录。它表示,在所涵盖配置下,日志与回放不会持久保存到 Browserbase 存储。需要书面确认账号级 ZDR 的组织,应通过协议取得确认,而非把两个创建标志等同于 Enterprise 安排中的全部合同功能。

ZDR 不等于完全删除所有相关数据。下载文件、上传文件、Context 与扩展属于独立产物类型。文档描述了将 ZDR 与 BYOS 搭配,把这些产物放入客户控制的 S3 存储。运营元数据仍会保留,包括会话标识、时间、项目与区域信息。浏览器运行期间,实时查看仍可使用,因为它以流式方式传输会话,而非保存回放。发送给第三方大语言模型的数据,受该提供方安排约束,不能仅由 Browserbase 存储控制覆盖。

选择降低可观测性,也会改变事件处理。Browserbase 表示,其支持团队不会拥有这些会话的日志与回放,录制端点可能返回 404 Not Found,日志 API 也不提供条目。应用自有诊断需要有意限制的替代信息,例如验证结果与阶段标记,而非不加区分地复制敏感内容。提供方设置减少的是指定留存;客户仍负责自身导出、本地遥测,以及主动发起的下游处理。

自有测试用例区分各项责任

设想一个自有目录测试用例,包含无害的显示偏好,以及具有条目标识符、价格和币种的记录。这是验收场景,并非已报告的 Browserbase 测试。应用成功条件是从该用例获得经过验证的记录。独立状态条件检查偏好是从全新状态开始,还是从预期 Context 恢复;独立网络条件记录自有服务器观察到的路由。任何一项都不依赖将 COMPLETED 解释为业务结果。

假设症状首先区分什么所需责任证据
会话为 COMPLETED,但没有有效记录提供方终止与客户端结果客户端异常、验证阶段与输出提交
下次没有出现更改后的偏好Context 选择、写入策略与同步预期 Context、persist 值与关闭顺序
保存状态打开了未登录页面持久 Context 与有效应用身份验证应用会话有效性与撤销规则
远程连接消失CDP 不活动与会话或任务截止时间连接活动、实际超时与调度器事件
实测国家不同于请求区域浏览器位置与代理出口请求路由与自有服务器观测
无法获得回放有意留存配置与采集失败创建设置与适用可观测性契约

持久化验收条件应明确关闭和文档要求的同步等待。使用 persist: true 的运行,不能仅因客户端输出最终记录,就被视为已可复用。使用 persist: false 的比较关注变化是否被写回,而非测试用例服务器是否可能被修改。保持偏好无害,可让所有者检查这些区别,而不导入无关浏览状态,也不把生产身份验证当作可随意丢弃的测试材料。

只记录决策所需信息:客户端验证结果、提供方状态、预期 Context 策略、实际时间限制与测试用例的路由观测。还应加入选定录制策略,为回放缺失提供解释。会话管理与 ZDR契约为这些记录赋予不同含义。未来通过的测试用例只能确立该配置的兼容性,不能确立网站授权、匿名运行,或对无关网站作出承诺。

常见问题

COMPLETED 是否意味着抓取任务成功?

不是。Browserbase 记录的正常终止路径包括客户端崩溃后断开连接。应用需要独立记录验证与输出完成证据。

persist: false 是否让会话变成只读?

它阻止将变化保存到选定 Context,却不阻止浏览器操作改变目标应用的服务器端状态。

会话保持是否保留应用登录?

它在剩余会话寿命内保留重新连接的可用性。应用身份验证仍可能过期或被撤销,这独立于浏览器是否可用。

选择浏览器区域是否同时选择代理国家?

不是。浏览器区域与代理路由是独立设置。Browserbase 文档描述的是尽力而为的代理地理位置,包括可能经邻国路由,而非保证出口国家。

禁用录制是否移除提供方持有的全部数据?

不是。日志、回放、Context、上传文件、下载文件、扩展与运营元数据具有不同范围。第三方大语言模型处理也不在 Browserbase 存储控制之内。

来源

实践结论

为客户端结果、提供方会话、Context 生命周期、网络路由和留存产物分别明确责任方。采用托管流程前,应通过获授权的自有测试用例和适用提供方条款验证这些边界。浏览器配置可以管理文档记载的接口,却不能替代应用验证、提供方存储决策或采集数据的许可。

#网页抓取#浏览器自动化#托管浏览器

本文属于指南: 浏览器自动化入门:首次运行地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。