Scrapy 浏览器指纹:Scrapy 无法设置什么
区分 Scrapy 请求指纹与浏览器信号、HTTP 响应与执行后页面,以及默认下载与浏览器支持的集成。
BotBrowser Team
Scrapy 默认 HTTP 下载器没有页面 JavaScript 运行环境。其用于去重过滤与响应缓存的请求指纹,不同于通过浏览器观测构建的浏览器指纹。BotBrowser 支持文档记载的基于画像的浏览器引擎接口,但不能为默认 HTTP 下载器添加渲染进程、改变 Scrapy 调度器的请求标识、配置任意远程引擎或保证访问。解决“Scrapy 浏览器指纹”问题,应先确定问题属于本地请求标识、网络交付、响应解析,还是明确选择的浏览器运行环境。
摘要
- 请求指纹是本地标识符。其默认输入涉及请求方法、URL 与请求体,额外元数据的处理取决于版本。
- 默认请求标识不包含请求头。纳入选定请求头会改变本地比较,而非浏览器 API 行为。
- 下载的 HTML 与浏览器执行后的 DOM 可能包含不同数据。解析嵌入式 JavaScript 数据不等于执行页面。
- 浏览器支持的下载处理器会改变执行路径。在回调内直接操作浏览器,可能绕过 Scrapy 组件。
- 更改其他组件前,应在对应责任边界诊断获授权测试用例。哈希与请求头都不能证明浏览器执行。
目录
请求指纹定义本地等价关系
Scrapy 的请求指纹文档介绍了用于去重过滤和响应缓存的标识符。组件需要一种紧凑方式,按照项目预期的等价规则比较请求。这是内部记账决策。指纹不会自动成为请求头、浏览器生成的标识符,或服务器报告的观测。两个请求获得相同本地标识符,不能证明其网络交换或返回文档相同。
所审查的上游实现考虑请求方法、规范化 URL 与请求体。对于这个用途,规范化可以让查询参数顺序不同的 URL 等价。请求头默认被忽略,URL 片段通常也被省略。include_headers 参数让选定请求头参与计算;keep_fragments 改变片段处理。任何选项都不会创建渲染进程。将片段纳入本地键,不会执行解释该片段的应用代码。
请求体输入是原始请求体,在实现的指纹数据中表示为字节的十六进制形式,并非作为 JSON 解析和规范化。因此,两个 JSON 文档即使描述同一对象,只要空白或属性顺序不同,就可能产生不同请求指纹。反过来,URL 规范化可能合并应用所有者认为重要的差异。请求标识应符合工作负载需求,而非假定等价业务数据的每种表示都会得到同一个标识符。
所提供审查使用上游快照 e63a574c767d7a9438c21db158f605f1c44c6e6a,而非已安装或经过运行时测试的发行版。在该实现中,verbatim_url 保留请求 URL 而不规范化,使 keep_fragments 不再影响结果。不同于 URL 协议方案的 download_handler 值也参与标识;与协议方案相同的值则被省略。源码将处理器参与标为 2.20.0 中的变化。这些细节取决于版本和配置,并非声称所有已部署 Scrapy 安装都如此运行。
相等也不保证响应语义相同。即使方法、URL 与请求体一致,自有目录仍可能根据语言或获授权的应用状态返回不同响应。忽略请求头对一种抓取可能合适,对另一种则可能错误。Scrapy 提供 REQUEST_FINGERPRINTER_CLASS,因为不存在通用比较规则。需要决定的是项目打算区分哪些请求,而非哪个哈希看起来最像浏览器。对身份验证敏感的响应,还需要符合其范围的缓存策略;单凭共享请求键,不能确立复用安全性。
下载器属于更大的工作流程
Scrapy 的架构概述为调度器、下载器、爬虫与条目管道分配不同责任。引擎从爬虫获取请求,并将其交给调度。下载器获取响应,下载器中间件参与该边界前后的处理。爬虫回调处理响应,返回条目或后续请求。条目管道随后处理清洗、验证与持久化等任务。空输出可能源自网络请求前后的多个阶段。
这种顺序解释了为何改变请求头可能不影响去重决策。调度期间被排除的请求,可能永远不会到达开发者打算调整出站字段的下载器。同样,下载响应可能成功到达回调,却产生被验证拒绝的条目。“没有保存任何内容”既不能定位下载失败,也不能定位浏览器问题。有用证据应指出最后完成的阶段,以及下一阶段预期的输入。
默认 HTTP 路径获取响应内容,不执行页面脚本。Scrapy 的动态内容指南明确区分检查已下载源内容与访问实时浏览器 DOM。这一边界不禁止通过其他处理器或集成执行浏览器。Scrapy 是组件可配置的框架;“默认下载器没有渲染进程”比“Scrapy 永远不能运行 JavaScript”更准确。选定执行路径决定哪个进程能够生成渲染文档。
传输归因也需要实际配置。架构文档描述了 Scrapy 的事件驱动网络机制及其与 Twisted 的关系,但自定义处理器与版本变化同样重要。不能将 Scrapy 项目发出的所有可能请求,都归于同一种传输实现。讨论连接行为前,应记录安装版本与选定处理器。TLS 行为属于该处理器的网络实现和配置,而非 HTTP 请求头中的浏览器名称。
即使响应由浏览器提供,管道边界仍然有用。浏览器执行可能让某字段可用,却不能证明回调选对了记录,或管道接受了该记录。每次转换都应明确预期产物:已调度请求、已接收响应、已解析条目和已持久化输出。这能定位可处理的失败位置,而不必收集每份文档,也不会混淆浏览器成功启动与数据成功验证。
HTTP 请求头不会创建浏览器 API
Scrapy 的 DEFAULT_REQUEST_HEADERS 设置通过 DefaultHeadersMiddleware 提供 HTTP 字段。这些字段描述出站请求。Accept-Language 值可以影响自有服务器响应,用户代理字段也可以携带选定字符串,但两者都不会创建 window.navigator。MDN 的 Navigator 参考描述浏览器环境暴露的对象,包括 userAgent 与 hardwareConcurrency。它们是否存在及其取值属于该运行环境,而非 Python 请求字典。
同样的边界适用于图形。MDN 将 HTMLCanvasElement.toDataURL()描述为返回画布图像的编码表示,并非内置设备身份哈希。调用方可以随后处理输出,但那是另一项操作。结果取决于位图与请求编码;位图不满足同源洁净条件的图像,可能引发 SecurityError。请求头既不会绘制该位图,也不会提供读取所需的浏览器安全条件。
WebGLRenderingContext.getParameter()返回与所请求参数名称关联的值。其返回类型和含义取决于该参数。将其称为“WebGL 指纹”,会掩盖实际请求了哪种观测,以及相关上下文是否存在。有用的浏览器测试用例应指出所检查 API 与参数,不应假定每个运行环境都暴露相同能力,或某个返回值能唯一识别物理设备。
音频也需要同样精确的描述。MDN 的 OfflineAudioContext表示将结果渲染到 AudioBuffer 的音频处理图,而非直接输出到设备音频硬件。因此,离线处理不需要声称扬声器发出了声音。处理图、预定变化与运行环境共同生成输出。任何 HTTP 字段都不能替代这项计算;没有页面运行环境,意味着默认下载器没有这种由页面生成的观测可供返回。
计时是另一种独立接口。performance.now()使用单调时钟,报告相对于 performance.timeOrigin 已经过的毫秒数。MDN 还记录了精度粗化,包括跨源隔离上下文的不同分辨率条件。下载器请求时长测量的是另一种时钟和范围下的不同区间。将下载时长与页面时间戳对应,不能证明等价的浏览器计时行为;响应缓慢本身也不能证明 JavaScript 计时器有问题。
这些 API 是浏览器观测示例,不是普遍可用或唯一识别的承诺。浏览器支持、文档条件与运行环境策略都可能限制它们。同时,即使不运行页面 JavaScript,服务器仍可观察 HTTP 与连接活动。浏览器指纹保护讨论解释浏览器隐私接口,其范围不会将 Scrapy 本地请求键变成这些接口。不执行 JavaScript 或更改请求字段,都不能确立匿名性或采集数据的许可。
响应源内容与执行后 DOM 是不同产物
Scrapy 的动态内容文档描述了一种常见不匹配:浏览器中能看到数据,但针对已下载响应运行的选择器找不到。浏览器可能执行了脚本、发送了额外请求,并更新文档。Scrapy 响应选择器操作的是提供给它们的内容。修改选择器前,应先确定所需字段是否存在于输入中。选择器无法恢复选定响应从未包含的节点。
自有页面也可能把目标数据放在 script 元素内,而不将其放进可见 HTML。提取序列化对象,或将 JavaScript 源码作为数据解析,不等于运行页面。Scrapy 将嵌入值解析与无头浏览分别记录。这一区别关系到来源:从源文本获得的值,不能证明发生过浏览器初始化、事件处理或渲染,只能证明选定文本包含解析器理解的值。
外部 JSON 响应是另一种可能产物。如果自有应用通过获授权端点提供所需记录,该表示可能无需浏览器执行就能满足任务,也可能省略任务确实需要的呈现状态。渲染页面与 JSON 端点比较从所需输出角度解释这一选择。记录端点与截图回答不同问题,即使两者来自同一应用。
反过来,HTTP API 可以返回由别处浏览器渲染的文档。通过 HTTP 接收 HTML,不能证明生产方没有执行 JavaScript。使用方必须区分传输与生成:什么内容跨过连接,又由哪个系统生成?渲染服务的响应契约可能提供执行后产物,普通源站响应则可能提供源 HTML。媒体类型与使用 HTTP 客户端这两点,单独都不能确定这种区别。
验收时,应先明确所需表示,再选择执行路径。“返回的源内容包含测试用例条目标识符”“页面执行后包含条目节点”与“返回有效 JSON 记录”,是不同条件。每项都需要自己的生产方与验证点。用一种替换另一种,可能悄然改变任务,尤其是在呈现依赖交互或应用状态时。成功下载只能确立产物已交付,并不满足所有可能的渲染要求。
浏览器集成改变执行责任
scrapy-playwright 项目说明描述一种 Scrapy 下载处理器,通过 Playwright for Python 执行请求,同时保留常规 Scrapy 工作流程,包括请求调度与条目处理。这是明确选择的浏览器支持安排。它不同于为默认 HTTP 下载器添加类似浏览器的请求头,因为现在由另一运行环境执行浏览器工作。框架仍负责调度与输出;集成改变的是谁生成响应,并非替换全部组件。
Scrapy 的无头浏览指南还区分集成与在回调内直接使用 Playwright。它警告,这种直接用法会绕过大部分 Scrapy 组件,包括中间件和去重过滤,并建议使用 scrapy-playwright 获得更好的集成。这是控制流程区别。由浏览器代码直接发起的网络操作,不能被假定会继承交给 Scrapy 的请求所具有的调度器决策或中间件行为。
这种来源影响设置可以合理控制什么。Scrapy 请求设置、处理器选项与浏览器引擎设置,具有不同的使用方。某些浏览器操作可能来自页面内部或直接自动化,而不是独立调度的 Scrapy 请求。期待框架钩子观察或修改操作前,应先确定操作责任方。同样的谨慎也适用于远程浏览器:其可执行程序与提供方策略,仍受运行环境实际配置契约约束。
BotBrowser 的浏览器概述记录了基于画像的浏览器引擎接口控制,包括 Navigator、图形、音频与计时。这项能力属于兼容选择的 BotBrowser 运行环境;它不能自动配置每种集成、替换任意远程引擎,或改变 Scrapy 请求指纹策略。这里没有报告插件兼容性测试。选择运行环境,需要依据集成支持的可执行程序或连接安排,而非推断所有使用浏览器自动化的工具都接受可互换引擎。
无头模式比较讨论已有浏览器路径之后的执行模式。它不能因为没有可见窗口,就证明 HTTP 下载器已经获得浏览器。应先确定浏览器责任归属与所需产物,再考虑选定运行环境文档中的模式与配置。在整个选择过程中,应用授权与输出验证始终是独立要求。
根据证据分类四种测试用例失败
设想一个自有目录测试用例,具有两种语言变体、一份源文档,以及执行后添加一个无害显示字段的页面。下表描述预期分类,并非实测运行结果,目的是将每个问题交给能够回答的组件。Scrapy 的请求标识、架构与动态内容参考确立这些边界。
| 假设情形 | 预期分类 | 责任组件 | 最少有用证据 |
|---|---|---|---|
| 等价查询 URL 只产生一次已调度下载 | 本地请求等价关系与去重过滤 | 实际指纹计算器与调度器去重过滤器 | 方法、脱敏 URL 比较、指纹策略与调度结果 |
| 两个请求仅语言环境请求头不同,但需要独立记录 | 对请求头敏感的请求标识,与服务器响应变化 | 指纹策略、下载器请求头与记录验证 | 选定请求头名称、无害语言环境值与预期语言 |
| 原始响应缺少浏览器执行后存在的节点 | 产物来源与渲染要求 | 响应解析器或明确选择的浏览器处理器 | 字段是否存在于源内容、执行后 DOM 或获授权数据响应 |
| 将请求延迟误认为浏览器计时器测量 | 测量范围不匹配 | 下载器测量机制与浏览器 Performance API | 时钟来源、测量区间与执行路径 |
对于重复 URL 情形,验收问题是项目是否有意将两个请求视为一个单位。对于语言环境情形,则是两种语言记录能否在实际标识与验证策略下保持可区分。即使都表现为条目缺失,它们也是不同问题。仅在应用代码中看到两个请求对象,不能证明两者都通过调度,也不能证明服务器收到两个不同请求。
对于缺少节点情形,验收要求字段存在于声明的产物中。只需源内容的任务不应默默变成交互式浏览器任务,要求执行后状态的任务也不应只按源内容判断。对于延迟,验收要求正确命名测量区间。下载器测量可以有用,却不代表 performance.now() 精度、页面执行时间或任何浏览器 API 结果。正确分类可避免引入无法回答原问题的运行环境。
只保留决策所需证据:实际 Scrapy 版本、处理器标识、相关指纹选项、脱敏请求特征、产物类型与验证结果。不要为了展示这些边界,采集秘密信息、原始 Cookie 或无关页面内容。未来通过的测试用例只能确立该配置与自有应用的行为,不能确立握手指纹、与所有浏览器集成的兼容性,或在无关网站重复工作的授权。
常见问题
Scrapy 请求指纹会作为浏览器身份发送吗?
默认指纹计算不会这样做。它为去重过滤和缓存等组件提供本地请求标识。网络观测与浏览器观测具有独立生产者。
设置用户代理请求头会创建 Navigator 属性吗?
不会。请求字段不会创建 window.navigator、Canvas、WebGL 或音频处理图。这些需要实际支持的运行环境,以及适用的文档条件。
解析 script 元素内的数据会执行 JavaScript 吗?
不会。读取源文本与提取嵌入值属于数据解析。浏览器执行能够进行源内容解析不会进行的额外计算和文档更新。
Scrapy 能否使用浏览器并保留正常工作流程?
scrapy-playwright 项目说明描述了这种下载处理器安排。回调内直接进行 Playwright 操作具有不同集成边界,因此需要针对选定路径确认组件参与情况。
来源
- Scrapy:架构概述
- Scrapy:请求指纹
- Scrapy:选择动态加载内容
- Scrapy:设置
- Scrapy:所审查上游快照中的请求工具
- scrapy-playwright:项目说明
- MDN:Navigator
- MDN:HTMLCanvasElement.toDataURL()
- MDN:WebGLRenderingContext.getParameter()
- MDN:OfflineAudioContext
- MDN:Performance.now()
- BotBrowser:浏览器指纹概述
实践结论
将一个获授权测试用例的失败,分类为本地请求标识、下载交付、响应解析或浏览器执行问题,再选择生成缺失证据的组件。更改其他层之前,先验证该组件的实际版本与配置:请求哈希、HTTP 请求头和浏览器运行环境,各自控制工作的不同部分。
本文属于指南: 浏览器自动化入门:首次运行地图