竞品价格监测：浏览器采集管道设计

竞品价格监测比较的是观察到的报价，不只是从页面提取的数字。卖家、商品规格或市场不同，都可能产生合理价差，却被采集器误报为降价。BotBrowser 提供配置文件驱动的浏览器设置和上下文级路由控制，但不提供商品数据，不建立跨商家的商品身份，也不保证能访问商品页。获授权采集管道需要来源登记、共享负载预算、带版本的观察约定，以及能够区分新价格与观察失败的发布规则。

选择 Amazon 专属来源时，Amazon 商品数据与浏览器边界 区分当前 Creators API 与已退役 PA-API，将报价字段映射到实际来源证据，而非浏览器设置。

选择 Shopify 来源时，Storefront API、Ajax 与浏览器证据 区分无令牌范围、托管主题 JSON、规格覆盖和展示币种，然后再决定是否接受商品观察。

解释具体职位时，Indeed 与 LinkedIn 字段、分页和重复规则 提供来源范围字段合同与构造分页重叠样本，将列表缺失和关闭证据分开。

摘要

• 比较相同商品规格和报价条件；商家自己的 SKU 不是通用商品标识。
• 分开调度、获取、记录校验和发布决策，避免 HTML 挑战变成空价格表。
• 将浏览器上下文绑定到声明的获授权来源和市场，但不把上下文或代理视为身份或许可的证明。
• 金额之外，还应保存观察时间、币种、价格适用条件和采集结果。缺失字段不是零价格。
• 运营者提供且适用时，优先选择获批准的数据源或 API；换获取方式不免除数据约定。

目录

• 四个组件及其交接约定
• 在共享预算内安排更新
• 按来源与市场隔离浏览器状态
• 定义带版本的报价观察
• 发布前区分四类失败
• 选择获批准的数据访问路径
• 实践结论

四个组件及其交接约定

来源登记明确任务获准采集什么，以及下游应用需要比较什么。应一起保存获批准来源、市场、商品选择规则和访问方法。只有地址不能定义可比较报价：页面可能在导航后显示不同规格或卖家。登记还应注明应用的响应约定，避免把导航成功误认为获得了可用观察。 Google Maps 数据来源比较补充提供方的字段与保留限制：地点标识例外不允许保留全部关联内容。 房产公告模型将来源公告与实体房产分开，只比较币种和交易含义一致的要价；卡片缺失不能证明售出。

schema.org Product 文档已经区分商品与报价。offers 描述提供商品的报价，sku 则明确是商家专属标识。两个商家 SKU 文本相同，不足以关联其记录。商品匹配应使用声明的匹配规则及其证据，与获取报价、解析金额分别处理。 旅行场景补充了另一种情况：同一商品同时跨多种货币与销售点规则；票价抓取模型 每次抓取都固定这些输入，让差异保持可比。

组件	输入约定	输出约定	边界
来源登记	获批准来源、市场、商品范围与访问方法	有界采集任务	URL 不是跨商家商品身份
共享调度器	到期任务与约定负载预算	已计量的请求发起和在途工作	工作进程数不是完整请求数
获取工作进程	任务、声明的浏览器或数据源配置及获准目标	带来源记录的响应观察	HTTP 成功不等于应用数据结果
校验与发布	候选记录及当前字段约定	已接受观察或已分类失败	缺失数据不能成为编造的价格

交接应能检查，无需把整个浏览会话复制进记录。调度器需要任务标识和结果；价格消费端需要已校验的报价条件和观察时间。二者都不需要代理凭据或可复用身份验证捕获。只保存获授权应用需要的信息，并对保留的诊断片段实施相应访问控制。

电商价格监测的浏览器层分析区分浏览器表现与页面提供的商业事实。获取后也应保留这种区别。声明的浏览器配置能帮助记录运行输入，但不能判断报价是否含运费、是否属于目标规格，或是否仍可购买。这些都要单独校验。

在共享预算内安排更新

调度从应用获准的新鲜度目标开始，不能从据称不会触发挑战的通用间隔开始。获准访问的高频变化来源与低频变化目录可能需要不同复查安排。分层属于应用选择，必须服从约定负载与来源政策。不能因为上次返回数据，就把自定频率说成厂商允许的安全额度。

对每个调度项，分别保留到期时间和最后接受的观察时间，例如应用字段 dueAt 与 observedAt，并记录到期原因。这是建议的采集器字段，不是网站报告的输出。重试与计划复查不同：二者消耗工作，但重试处理的是既有失败。应明确计量，避免失败循环产生无界的第二套调度。预算不足以处理所有到期任务时，记录延期项，不假装旧观察已更新。

速率与并发分析区分请求发起速率与在途请求数。应在整个获授权来源负载中应用这种区分。多个工作进程访问同一来源时，即使上下文或路由不同，仍共享应用预算。重定向、资源请求和有界重试都可能让页面数与网络工作量不同；保留统计范围，不声称本地导航计数重现了运营者规则。

新鲜度属于具体记录，不属于整个批次的完成时间。一个来源失败、其他来源成功更新后，批次仍可能结束。保留旧记录原始观察时间，另记刷新尝试。若仪表盘给所有保留价格标上最新批次时间，就把部分采集失败变成了对当前市场状况的错误陈述。

Robots Exclusion Protocol明确指出，其规则不是访问授权。应尊重适用的爬虫指令，同时另行确定许可与约定采集方法。未禁止的路径不授予账户访问或无限请求预算。同样，获授权负载耗尽后，更换浏览器上下文也不会创造新额度。

价格变化触发的调度也应区分证据与计划。先前已接受观察可以支持将商品放入获准复查层，但不能证明下一响应具备可比较条件。必须校验后再比较。新观察的卖家或币种改变时，应交给相应匹配决策，而不是直接发出数字降价提醒。

按来源与市场隔离浏览器状态

声明的来源分区记录任务使用什么浏览器状态和市场假设。它不应冒充个人，也不能声称建立了外部身份。竞品标签只有在任务及其真实请求上下文可以映射到它时才有用。即使应用把相关引用放在同一任务记录中，也要分别处理账户授权、商品匹配和浏览器配置。

BotBrowser 配置文件文档定义优先级与可配置包的边界。配置包编写要求 ENT Tier1；公开的旧版 .enc 文件只读。CLI 参数优先于配置文件设置和默认值。使用文档规定的文件输入以及绝对 --bot-profile 路径。配置文件引用只记录预期浏览器配置，不是商家账户，也不能证明完整配置文件已经加载。

市场背景应描述报价实际适用的范围。应分开保存应用请求的市场和报价中实际可见的市场信息。配置地区设置或路由，不能证明卖家采用了所请求币种、税费处理或库存区域。获授权响应无法确定必要市场条件时，该观察不能完成对应比较。

BotBrowser 动态代理切换文档说明现有 BrowserContext 的变更，要求 ENT Tier3、有效且已加载的配置文件及浏览器级会话。更新作用于后续请求；已在途请求继续使用旧代理。依赖新路由的工作开始前，要等待命令完成，并串行处理同一上下文的更新。将报价响应归于某个市场配置时，必须保留此生命周期区别。

不要用“当前市场”之类全局标签标注之后到达的每个响应。响应可能属于变更前开始的请求。工具支持时，应在请求发起时关联任务、上下文和相关配置区间；不可得的归属保持未知。响应到达顺序不能证明发送请求时的网络状态。

配置变更还必须保留任务授权边界。挑战、账户会话过期或超范围重定向，不会因路由更新而成为新的采集机会。停止依赖提取，使用获准恢复或访问渠道。可以在自有夹具检查和修复浏览器配置，但不能据此声称获得了重新采集受保护网站的许可。

定义带版本的报价观察

采集器自己的结构版本表示应用怎样解释记录，不是网站内部数据结构的版本。解释规则变化时，应更新约定并保留足够来源信息，以区分不同规则生成的记录。新解析器改变价格字段含义时，不能悄悄改写旧观察，假装使用了相同规则。

记录组	必须明确的含义	校验问题
来源与商品	获批准来源，以及应用针对选定规格的匹配证据	是否为计划比较的商品与规格？
报价条件	获授权任务可见的卖家及相关市场或客户条件	是否采用相同报价条件？
金额与币种	观察到的金额及明确币种	二者是否同时存在且可一起解释？
价格依据	已知数量、会员、运费、税费或其他适用条件	按应用规则，金额是否可比较？
观察来源	真实观察时间及获准来源引用	时间是否对应本次响应，而非较晚批次？
结果与结构版本	按采集器约定接受、不完整或失败的观察	该记录是否应进入价格比较？

Product 文档中 sku 的含义，对关联观察尤其重要。商家专属标识应与商家身份一起保存；跨来源关联则使用应用批准的匹配证据。商品系列标签不自动等于具体规格。相同展示标题可能代表不同包装数量或选项，所以在确定规格前不能解释数字变化。

schema.org Offer 文档区分 price、priceCurrency 和 eligibleQuantity 等条件。校验与存储全程都应将币种附在金额旁。裸小数不能表明它与其他报价是否可比较。不能因为价格元素容易解析，就丢弃适用条件。按数量或会员资格定价的金额，应表达其条件，否则不能支持按普通单件购买进行的比较。

根据 MDN 的 URL 构造器文档，将相对引用解析到真实页面 URL。解析不是字符串拼接，无效输入可能抛异常。解析后，任何后续请求前仍要检查获准目标范围。语法有效的 URL 既不证明链接商品匹配，也不授予访问目标的许可。

未知与不可用值需要明确结果。金额缺失不是金额为零；页面不可用不能证明没有库存。获授权响应无法确定必要字段时，按约定将观察保留为不完整。让它退出数字比较，不要填入方便的默认值，导致下游误认为真实市场事件。

发布前区分四类失败

按层诊断采集阻断区分传输、HTTP 和页面执行。价格管道在决定发布内容前需要这种区分。浏览器可能拿到 HTTP 响应却不满足数据约定；解析器也可能选错报价但成功取得数字。不同失败需要不同负责人和结果，不能全部交给通用重试循环。

失败类型	可观察边界	发布动作
传输或访问	没有响应、授权拒绝、已分类挑战或不允许的目标	停止依赖提取，保留有界事件结果
页面就绪	获授权应用未达到声明的数据就绪条件	有限等待策略结束后将观察标为不完整
记录解释	规格、币种、金额或适用条件不满足字段约定	标为不完整，排除候选的价格变化比较
发布完整性	有效记录不完整、重复，或与旧数据混合错误	保留已接受来源，明确发布应用完成状态

就绪条件应指向任务真正需要的应用状态。导航事件不能证明选中报价已加载；无关网络请求也可能持续到应用数据可用之后。限定等待策略，并注明哪个条件没有满足。等待超时是观察失败，不是商家下架商品或修改公开数据结构的证据。

当响应从数据变成挑战，采集中途出现 CAPTCHA 的诊断用于重建最后可用请求与首次挑战请求，不猜测隐藏原因。保留最少脱敏证据，停止下游解析。HTML 挑战造成 JSON 异常时，不能让空价格表覆盖先前已接受报价。

已接受观察与批次完成是两种输出。部分失败后，某些有效记录仍可保留，但应用必须说明各自来源与时间范围。不能把部分完成提升成整个竞品目录已刷新的声明。同样，标有真实时间的旧观察仍有价值；失败刷新给它新时间戳时，就会误导。

去重也不同于商品匹配。同一观察被重复投递，不应多产生一次价格事件。反过来，两个合法卖家报价不能仅因共享商品引用就被合并。发布前定义观察身份与比较范围，避免任务恢复把传输重试变成编造的市场活动。

选择获批准的数据访问路径

运营者提供且能满足字段和范围要求时，优先使用获批准数据源或 API。这是来源选择规则，不是声称每个商家都有适用端点。实际约定应向获授权运营者取得。数据源可能让字段含义更明确，但仍需要币种、报价条件、观察来源，以及缺失或延迟记录的应用决策。

只有约定访问方法要求页面观察，且必要事实可在范围内确定时，才适合浏览器路径。无论获取方式如何，商品与报价语义都适用：获取方法不会把商品变成可比较报价。等价观察应使用相同下游约定，同时明确记录来源差异，不要隐藏。

页面采集许可不能因为浏览器显示了某个地址，就扩展为访问未公开内部端点。同样，数据源协议不自动授权以其他账户或市场进行浏览器采集。来源方法和授权都属于登记内容。所需数据无法通过获批准路径取得时，应返回来源限制，不悄悄更换采集方法。

选择路径时，robots 协议的授权边界仍适用。爬虫指令与访问许可回答不同问题。来源决策应保留二者，遇到访问拒绝就停止。对价格消费端而言，明确的不可用结果，比在获准来源停止供应数据后制造一条当前观察更有用。

常见问题

竞品之间相同 SKU 字符串能识别同一商品吗？

单靠它不行。Schema.org 将 SKU 定义为商家专属标识。跨来源匹配需要独立适用证据，包括目标规格和报价范围。

配置某个市场的代理就能证明该市场价格吗？

不能。配置描述预期路由。相关市场和报价条件需要获授权响应确定，在途请求还可能属于旧路由。

刷新失败应该删除最后有效价格吗？

不能仅因获取失败就删除。根据应用保留与发布规则，保留先前已接受观察及其真实时间，另记失败尝试。

robots 允许的路径代表获准采集吗？

不代表。RFC 9309 明确区分 robots 规则与访问授权。遵守爬虫指令之外，还要使用约定来源方法与负载范围。

来源

• Schema.org：Product
• Schema.org：Offer
• MDN：URL 构造器
• BotBrowser：配置文件
• BotBrowser：动态代理切换
• RFC 9309：Robots Exclusion Protocol

实践结论

围绕可比较报价观察构建竞品价格监测。将任务绑定到获批准来源和市场，计量共享工作，校验商品规格和价格条件，并发布真实观察时间。BotBrowser 配置提供浏览器输入，不提供商业事实或访问许可。来源失败时，保留有效历史并明确失败或不完整结果，不编造价格变化。