返回知识中心
部署

Zillow 抓取:挂牌标识、价格与状态历史

用挂牌键、带类型的价格与状态历史组织获准房产观察,区分重新挂牌、刷新失败、页面缺失与真实市场变化。

BotBrowser Team

文档中心

想直接进入 部署 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

Zillow 抓取首先提出数据模型问题,而不是页面采集问题:比较的记录究竟是什么?实体房产、来源挂牌、报价与观察是不同实体。按当前 URL 覆盖一行记录,可能掩盖重新挂牌、混淆租金与售价,并把刷新失败变成虚假的市场事件。BotBrowser 为获准观察提供声明的浏览器和地理输入;它不提供房产数据,也不授予门户访问权。使用获准来源,仅保留被允许的历史,并让每个变化都对应明确的挂牌记录。

构造的挂牌时间线区分来源挂牌身份与房产身份。两次可比要价观察支持来源价格修订;刷新失败不产生价格事件,列表卡片缺失不证明成交。除非获准来源确立连续性,重新挂牌属于另一条记录。

摘要

  • 来源挂牌键、房产引用与 URL 的含义不同。应核实实际语义,而不是假定存在永久全局键。
  • 只有币种、交易类型和计价基础一致,价格才可比较。相等数字也可能表示不同报价。
  • 分别保留来源状态与观察结果。卡片缺失、超时或解析失败不证明成交或撤牌。
  • 将获准刷新视为对已接受观察的带类型比较,而不是无条件覆盖最新记录。
  • 官方 API 或行业标准本身不授予访问权或无限保留权。遵守实际来源协议,许可不可用时停止。

目录

选择获准的挂牌来源

Zillow Group MLS Listings 文档将 Bridge Listing Output 描述为访问 MLS 挂牌数据的平台,数据按 RESO Data Dictionary 规范化。文档还明确表示,访问由美国和加拿大的各 MLS 合作方决定,平台目前采用邀请制。因此,有文档的集成是带条件的来源选项,不是公开数据集使用资格。能读取文档,不代表已获挂牌数据集的认证访问权。

开发者目录列出面向公众和合作伙伴、涉及不同房地产业务的服务,但不证明某应用可获取全部房产字段,或将它们用于任何目的。开发采集器之前,先确定实际提供方、可用数据集、获准字段和预期用途。适用协议还必须回答保留和再分发问题。技术可用性与受支持集成,都弱于特定应用的使用许可。

RFC 9309明确说明 robots 规则不是访问授权。页面公开可见,同样不能解决协议问题。来源若禁止预期采集用途,就不应采用浏览器变通方式;应选择获准替代来源,或返回不受支持的需求。应在适用时核对门户当前条款,不能把未检查条款视为已核实,也不能从文档请求成功推导数据许可。

共享观察流水线区分采集与后续分析。房产数据还需要在该边界加入来源许可和实体语义。获准数据源、提供的脱敏样本与另行授权的界面观察,是不同来源选择。应保留记录由哪一种选择提供。通用下游表不会让这些来源的权利、完整性和字段含义可以互换。

区分房产、挂牌与观察身份

RealEstateListing描述包含一个或多个房地产报价的挂牌,整体挂牌表现为网页;它不只是实体房产的另一个名称。该词汇处于 schema.org 的新领域,不能证明 Zillow 使用特定标记或标识。应借它区分概念,而不是推断门户专属提取合同。实际来源键必须来自获准来源及其文档语义。

模型组成应保留的证据或引用边界
来源命名空间实际提供方和数据集不同来源的相似键未必标识同一记录
一次挂牌记录可用时采用提供方定义的挂牌引用重新挂牌不自动延续此前报价
实体房产另有证据支持的房产引用挂牌键或相同地址不是通用房产身份
报价含义出售或出租范围及计价基础购买价格与周期租金不是可比金额
观察来源提供的时间、观察时间和结果采集时间不是发布或交易时间
引用位置实际来源 URL 或其他受支持引用URL 变化不自动表示新房产或新挂牌

Place 词汇描述地址等实体地点属性。地址观察可以辅助匹配,但不能证明两条来源挂牌对应同一单元、法律地块或报价。同一建筑和不同地址格式,都使这种区分有必要。证据不足时,应允许房产身份尚未确定。不能仅因可见地址相似,就抹去各自独立的来源挂牌记录。

招聘信息身份比较区分来源记录与现实实体。房产数据中,过期报价与后来的挂牌可能涉及同一实体地点,却仍是不同挂牌记录。除非来源确立连续性,应用应保留该区别。新观察到的 URL 或标识提出的是匹配核查问题,而不是自动产生市场事件。无法取得可靠键时,应记录临时身份及其限制。

RESO Data Dictionary定义一致的房产资源、字段和查找值,以支持互操作。它是数据语言,不是数据集本身,也不是获取数据的许可。应根据获准集成提供的版本和语义映射实际字段。熟悉的字段标签不保证每家提供方都填充该字段、同时更新它,或使用普遍可比的挂牌键。

按交易含义比较价格

Offer 词汇区分价格与币种,并通过报价对象和业务功能表达交易含义。这些概念避免纯数字列承载过多含义。金额需要来源实际提供的币种、出售或出租范围,以及周期或单位计价基础。这是字段解释规则,不是关于当前 Zillow 响应的主张。未知上下文应保持未知,不能仅凭浏览器语言或货币符号推断。

构造比较可以明确该区别:每月 USD 2,500 与要价 USD 500,000,并不是两次可比观察之间的涨价,而是不同交易含义。同样,不同币种中的相等数字不代表价格未变。计算差值之前,应先确立同一目标挂牌记录与可比报价基础。来源若改变报价范围,应将范围变化与数字运算分开保留。

Schema.org 的价格指南建议使用独立的 priceCurrency,而不是含糊货币符号。应用可以对获准来源值采用带类型表示,但不能编造缺失币种或周期。应在允许保留的范围内保存来源含义与规范化规则。本地化数字格式属于解析问题;分隔符变化本身不构成市场变动。格式化字符串与可比金额是不同表示。

RealEstateListing 发布字段将 datePosted 定义为在线挂牌的发布日期,不同于采集器观察时间和价格修订日期。今天首次看到某金额,不证明它今天才变化。来源若提供生效时间,应另行保留该时间的含义。历史分析不能静默用处理时间替代缺失事件时间,再将结果称为交易时间线。

保留状态证据而不编造市场事件

RESO 字典组织字段与查找值,但应用仍需采用实际受支持的来源映射。保留原始来源状态和解释规则,而不是假定每个数据源共享通用状态转换图。来源报告下架状态,本身不证明完成交易。采集器找不到卡片能建立的结论更少:它只是特定观察中的缺失,不是房产的法律或商业结果。

构造事件获准观察接受的解释
首次接受记录挂牌 L,要价 USD 500,000,来源状态 active基线观察,不是新完成交易
后续可比记录同一挂牌 L,要价 USD 490,000带观察时间的来源要价修订
刷新失败没有接受的来源记录采集事件,不产生价格删除或状态变化
某列表缺少卡片该列表中没有 L 的观察列表缺失,成交和撤牌均未确立

该表是应用样本,不是从 Zillow 或 MLS 实测的序列。第二行支持可比要价观察,不是最终成交价或议价证据。失败行应在协议允许范围内,将先前接受值作为历史证据保留,但不能把旧值表现为成功的新鲜观察。保留的接受值与最近采集结果,回答不同问题。

RealEstateListing 与 Offer 语义将挂牌及报价与完成的现实交易区分开来。任何成交或撤牌分类都应要求明确且范围合适的来源证据。获准来源无法建立该状态时,采用未知或较窄的原始状态。反复缺失可能值得调查,但重复本身不能把无支持推断变成来源事实。不能将采集失败变成市场统计。

对每次刷新执行带类型的比较

获准刷新应先建立目标来源和挂牌记录,再验证必要表示和字段。只有被接受且可比的观察,才应进入字段级比较。RESO 字段模型可以帮助来源映射,但不决定应用验收政策。应说明不完整记录是拒绝,还是带未知字段保留。两种政策都不能静默将失败观察解释为空白替换记录。

有序比较规则很具体:识别来源记录,分类采集结果,解释受支持字段,比较同类型值,记录有支持的差异,另外保留未解决问题。记录身份不确定时,应推迟比较,而不是制造修订。币种或交易基础不同时,先区分含义变化,再做运算。若只有 URL 变化,应检查来源引用语义,而不是默认创建新房产。

招聘挂牌观察模型在来源范围键下保留重复观察。房产挂牌除了带类型的价格与状态处理,也需要这种历史。未变的接受记录是另一次观察,不是重复的现实交易。未接受刷新是采集事件,不证明所有字段消失。存储操作去重不能抹去实体、来源记录与不同时刻证据之间的区别。

自有样本测试应重放表中的四个事件并检查解释。预期结果是在基线后出现一次可比要价修订、一次采集事件和一次未解决缺失,不应编造成交、新房产或价格删除。这一验收检查测试应用模型,不采集受保护门户内容。应明确样本是合成的;通过样本不证明某提供方当前的更新节奏或字段完整性。

限定浏览器环境与存储的职责

BotBrowser GeoIP 文档说明带 profile 前提及代理路由的地理查询。这些是获准观察的浏览器环境输入,不建立房产位置、报价币种或地理搜索完整性。应独立验证实际获准来源状态。已配置地区不能替代缺失的挂牌字段。

Profile 配置指南描述基于 profile 的浏览器设置。执行运行时观察时,应使用受支持配置并核实实际加载。浏览器配置本身不建立门户运行时观察。稳定的声明输入可以让比较环境更明确,但不授予来源访问,也不保证两次观察的挂牌内容相同。来源变化与浏览器事件仍是不同的可能解释。

MDN IndexedDB 参考说明结构化数据的事务性键存储和同源限制。这类存储可支持本地应用样本或获准观察,但不能让浏览器成为权威房产历史服务。存储限额与驱逐也需要考虑;本地持久化不是无限归档保证。数据库选择不能扩大提供方允许的保留范围,也不能授权获取缺失数据集。

内容与运行证据只能按适用协议保留。若原始历史不能存储,应在获准范围内重新设计诊断记录,而不是改名保留完整响应库。RFC 9309不会让 robots 规则变成该归档的权利。来源许可或必要证据不可用时应停止。不同浏览器身份或数据库事务,都不能建立缺失的授权或市场事实。

常见问题

房产 URL 是可靠的永久挂牌键吗?

只有获准来源确立这种语义时才是。URL、一次挂牌和实体房产回答不同身份问题。应保留来源引用与不确定性,不能假定每次 URL 变化都创建新房产。

挂牌消失表示房产成交了吗?

不表示。卡片缺失、刷新失败或不完整观察,都不建立成交。应保留采集结果,并对应用需要的生命周期状态要求明确来源证据。

所有价格都能只按一个数字比较吗?

不能。币种、出售或出租含义、周期或单位基础必须可比。上下文缺失不允许根据地区设置或显示标点补猜。

官方 API 或 BotBrowser 会授予门户数据访问权吗?

不会。文档中的 MLS 选项有合作方控制的访问和邀请条件。BotBrowser 提供浏览器输入,不提供房产内容或许可。实际集成协议决定访问和获准保留范围。

来源

实践结论

从来源范围内的挂牌记录与接受的观察构建获准历史,而不是无条件覆盖 URL。只在交易含义可比时比较价格,保留原始状态与未知生命周期,并将刷新失败和市场变化分开。浏览器输入与本地存储支持应用;获准来源及其协议决定可取得哪些数据、数据含义和可保留的历史。

#网页抓取#Browser Automation#隐私

本文属于指南: 浏览器部署与发布:运维决策地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。