AI 网页抓取:模型实际看不到什么
理解 AI 抓取工具如何把浏览器与网络事实压缩成模型上下文,以及为什么结构化字段仍需来源、提取历史和独立验证。
BotBrowser Team
AI 辅助抓取流程可以返回一份整齐的商品列表,而模型从未看到产生这份列表的完整浏览器状态。它可能只收到可访问性快照、文本提取、截图、选中的 JSON 对象或工具消息。BotBrowser 提供受控 Chromium 进程,并记录 Playwright 启动和配置输入;它不决定工具向模型转发哪些页面事实,不决定模型保留什么,也不能证明提取值一定正确。模型上下文是工作的表示,不是工作本身。
这条边界不同于选择托管抓取服务。网页抓取 API 证据指南关注服务替调用者决定了什么;代理决策时效分析关注执行操作时旧观察是否仍然有效。这里关注浏览器或工具结果进入模型上下文之后,哪些事实仍然存在,以及哪些结论必须由另一层证据验证。
摘要
- 浏览器可以执行请求、渲染页面并暴露许多事实;工具结果只包含其实现选择返回的内容。
fetch()返回Response只表示已收到响应头,不表示 HTTP 状态成功,也不表示响应体已经解析。- MCP 工具可以返回文本、图像、音频、资源链接或嵌入资源,并可附带结构化内容和输出模式。模式有效描述形状,不证明事实真实。
- 模型上下文可能缺少字段、失败请求、隐藏元素、重定向或丢弃行,而模型并不知道这种省略存在。
- 对每个影响决策的字段保存来源:URL、获取方式、浏览器或工具版本、提取规则、验证结果以及未返回的证据。
- 验证可能依赖原始响应、新的自有页面观察、应用端点或人工确认。模型不能凭空创造缺失证据。
目录
模型收到的是选定表示
假设一个构造的商品页面。浏览器收到 HTML、执行脚本、请求 API 数据,并可能渲染虚拟列表。工具随后可以返回包含五个商品名称的文本快照、第一屏截图,或只有标题与价格的结构化数组。这些输出不能互换。它们在内容、产生方式和可推断结论上都不同。
MCP 服务器工具规范说明工具是由模型控制、通过 tools/call 调用的能力。结果可以包含文本、图像、音频、资源链接和嵌入资源,也可以返回 JSON structuredContent 及可选输出模式。MCP 架构把上下文聚合和 AI 集成交给宿主。这些描述定义了协议和职责归属,并不保证工具返回完整浏览器,也不表示模型看到了每个返回字节。
下表只使用构造值:
| 边界 | 示例 | 模型能知道什么 | 仍不在模型上下文中的内容 |
|---|---|---|---|
| 浏览器请求 | 发出了商品页和 API 请求 | 仅限工具报告的请求结果 | 完整网络轨迹、无关请求和原始时序 |
| 渲染页面 | 五张可见卡片和隐藏模板 | 工具选择加入的表示 | 屏幕外 DOM、不可访问内容和应用状态 |
| 工具压缩 | [{title, price}] | 实际返回字段和元数据 | 丢弃行、来源节点和字段选择原因 |
| 模型上下文 | 提示中包含数组 | 数组和附带指令 | 浏览器进程、凭据、缓存和远程服务内部状态 |
成功启动浏览器并不会自动补全第一行。BotBrowser 的 Playwright 指南说明启动器如何传递可执行文件、配置和代理输入。这些输入可以让浏览器环境明确,但不规定抓取结果模式,也不会把全部浏览器观察写入模型提示。
Response 对象不等于成功提取
HTTP 是简洁工具结果容易掩盖差别的一个位置。MDN Fetch API 参考指出,fetch() 返回的 Promise 在服务器返回响应头时就解析为 Response,即使 HTTP 状态表示错误。代码仍需检查状态、响应头和响应体,再判断响应体代表什么。
获取与提取使用不同的验收条件。爬虫与抓取器边界防止把已获取 URL 误当成已校验记录,再把它交给模型。
工具可能返回这样的构造对象:
{
"ok": true,
"items": [{ "title": "Example item", "price": 19.99 }]
}
这个对象表明工具选择了 ok: true,但没有说明原因。它可能表示请求完成、解析器找到 JSON 数组、页面渲染没有异常,或业务规则接受了一行。它们属于不同成功边界。模式可以把 ok 验证为布尔值、把 items 验证为数组,却不能判断模型对该数组的总结是否真实,也不能证明页面只显示这些商品。
因此 MCP 工具规范区分协议错误和工具执行错误,并要求客户端在把工具结果传给模型前进行验证。验证能减少格式错误,不会消除表示损失。模型只能推理收到的结果;除非周围应用保留并转发证据,它看不到原始 Response、完整页面或工具丢弃的候选。
压缩不只删除空白
文本提取通常会规范空白、移除标记并选择可见内容区域。这些操作可以提高上下文效率,也会改变可检查内容。假设页面有商品网格和详情面板。可访问性快照可能保留可见名称,却省略只出现在提示框中的价格;截图可能显示价格,却没有记录键;JSON 提取可能给出价格,却缺少币种、库存状态或页面版本。
压缩本身不是错误。关键问题是保留下来的事实是否支撑读者预期的结论。价格监控需要金额和币种;变化检测需要稳定商品键和版本;搜索索引需要规范 URL 和可见标题。要求模型总结返回数组时,模型不能可靠创造提取器没有包含的字段。
不应把模型上下文描述成缩小版浏览器。它可能只有不含网络头的文本快照、不含 DOM 节点的图像,或没有来源文本的结构化记录。结果可以内部有效,却仍是页面的有损描述。正确处理不是塞入所有字段,而是明确支撑决策的字段,并保留验证它们所需的证据。
结构化字段需要提取历史
结构化结果因为有键和类型而显得权威,但历史比形状更重要。对构造的 price: 19.99,应记录提取器如何得到数字:选择器、角色定位、JSON 响应字段、OCR 区域、文本规则或人工输入。它们的失败模式和验证成本不同。
| 提取方式 | 构造来源 | 能支持什么 | 不能建立什么 |
|---|---|---|---|
| 结构化数据 | 应用 JSON 字段 | 解析器从该响应读到字段 | 商品有货或价格适用于预期地区 |
| DOM 快照 | 带附近币种的可见文本节点 | 文本出现在该渲染表示中 | 稳定记录键或隐藏的完整目录 |
| 图像或 OCR | 截图中的区域 | 该区域像素看起来像数字 | 原始值、未渲染标记或所有页面行 |
| 模型提取 | 模型解析先前文本表示 | 模型从其上下文提出该值 | 提议与来源一致 |
第四行被有意放在最后。AI 模型可以从提供的表示中提取或分类,但它自己的输出不是该表示的独立证明。模式检查、置信度声明或第二次模型调用可以成为测试,却都不会观察浏览器,除非工具提供新的浏览器观察。来源页面、工具版本和提取规则必须与结果一起保存。
模型无法验证从未收到的内容
模型可以比较上下文中的字段。它能发现数组没有 currency 字段,或计数与可见条目数量冲突。除非工具报告总数、分页游标或验证失败,它无法发现被丢弃的行。如果工具只返回 ok: false,模型无法推断 HTTP 错误响应是否包含有用诊断。它不能证明某字段在浏览器中不存在,只能说明该字段不在收到的表示中。
这是模型提取循环的实际限制。模型可以建议查询缺失证据,但宿主必须决定工具是否允许获取,以及结果是否可信。MCP 宿主协调上下文和服务器连接;浏览器进程可以导航和渲染;二者都不能让远程应用的每个回答自动成为权威事实。网页抓取 API 边界已经把返回工件与服务内部决定分开,同一区分也适用于工具结果进入模型之后。
因此,每个影响决策的字段都需要具名来源。对自有页面,可以使用确定性的 JSON 测试数据加渲染文本断言;对获准的外部流程,可以使用文档化应用端点或人工确认记录;只有图像时,必须保留限制:OCR 结果是派生值,不是原始页面。
把模型摘要回溯到来源证据
有用摘要应能通过少量引用反向追溯。从模型陈述开始,找到它引用的字段,在工具结果中定位这些字段,再定位产生它们的浏览器或网络观察。任何环节缺失时,摘要仍可作为假设,但不应升级为已验证抓取结果。
例如“第一页有五个商品,最低价格是 19.99”这一构造陈述。读者应能回答:哪个工具调用返回了商品?调用覆盖所有行还是只有第一屏?价格来自哪个字段,是否包含 currency?有什么独立检查能确认页面和工具一致?模型只是重复数字,并不能回答这些问题。
这条链还揭示一种类别错误:模型可能引用自己先前的句子,好像那句话就是来源。重复会让结果看起来稳定,却没有增加新观察。证据链应结束于页面响应、具有明确方法的浏览器快照、确定性测试或应用自有端点。另一个模型回答可以作为审阅步骤,但不是原始证据。
引用应尽量小。工具结果摘要、准确 URL、获取时间、字段路径和测试版本可能足以支持自有测试。不要为了显得完整而保存凭据、Cookie 或完整页面文本。目标在于证明声称的字段,而不是保留经过浏览器的每个字节。
反向检查同样重要。工具结果包含摘要遗漏的字段,不应自动判成模型错误。摘要可能只服务更窄任务,或宿主上下文策略排除了字段。应记录哪些表示进入模型、哪项任务指令选择了字段。这样,模型判断、工具输出和浏览器证据才能保持分离。
最后要写明停止点。某页面验证成功,不证明同一提取规则适用于其他地区、语言或账户状态。搜索卡片可能有价格,详情响应却缺失;商品标识可能稳定,排序位置却会变化。新的来源状态应视为新的证据边界,重新执行对应检查,而不是通过推断延伸旧摘要。
扩大模型使用前先设计验证路径
紧凑证据记录可以随提取结果传递,而不复制整个页面。它应写明工件、压缩方式和第一个未解决问题:
| 记录字段 | 构造值 | 用途 |
|---|---|---|
| 运行与来源 | run-04, https://example.test/products | 把浏览器会话与结论分开 |
| 获取方式 | browser-json, screenshot-ocr, dom-snapshot | 指明表示如何产生 |
| 工具与模式 | catalog_extract@2, outputSchema-v3 | 保留代码和契约版本 |
| 选中字段 | title, price, currency | 说明模型实际收到什么 |
| 省略证据 | full row count, pagination cursor | 将缺失变成明确事实 |
| 验证 | owned fixture v7 或应用端点 | 指定独立检查 |
| 第一处不一致 | price source field absent | 指向下一次调查 |
这份记录不是通用指纹,也不需要包含敏感内容。它让表示边界可见。模型摘要可以有用,但消费者应能把摘要追溯到工具输出,再从工具输出追溯到定义的观察。证据链缺失时,正确结论是“尚未独立验证”,不是“页面没有该值”。
验证路径也限制成本和隐私。每次提取后发送完整截图可能保留更多细节,却可能暴露无关个人信息并增加存储。只返回决策需要字段可能更安全,前提是工具记录压缩过程,应用有受支持方式验证结果。目标是拥有足够支持结论的证据,而不是最大上下文。
常见问题
AI 抓取器会看到整个网页吗?
不能仅凭名称判断。模型看到的是宿主或工具传给它的表示,可能是文本快照、图像、结构化对象或浏览器观察的子集。
工具成功与 HTTP 成功相同吗?
不同。Fetch API 可能在检查状态前解析 Response,工具也可能定义不同成功条件。应分别记录协议、HTTP、解析和应用结果。
输出模式能证明提取价格正确吗?
不能。模式验证类型和形状;正确性还需要来源、提取历史和适当验证。
模型能自行请求缺失信息吗?
如果宿主启用相应工具,模型可以提出调用建议。宿主控制权限,工具决定返回什么;模型仍无法观察任意浏览器或服务器内部状态。
来源
实践结论
把模型上下文视为浏览器或工具产生的压缩表示,而不是完整页面观察。保存来源、获取方式、工具和模式版本、选中字段、已知省略和验证路径。模型可以帮助解释收到的内容;应用必须证明关键事实。BotBrowser 可以让浏览器进程和配置输入明确,却无法补上缺失证据、让模式成为事实或保证站点结果。
本文属于指南: 什么是浏览器指纹?原理、风险、信号与隐私边界