浏览器测试证据与报告质量
编写区分预期行为、观察证据、不确定性、隐私边界和产品行动的浏览器测试报告,帮助团队在公开标准与自有应用上下文之间保持清晰边界。
BotBrowser Team
title: '浏览器测试证据与报告质量' description: '编写区分预期行为、观察证据、不确定性、隐私边界和产品行动的浏览器测试报告,帮助团队保持清晰的公开标准与应用边界。' date: '2026-10-08' locale: zh category: getting-started tags: ['浏览器测试', '证据', '隐私', '兼容性', 'BotBrowser'] published: true
浏览器测试证据的价值,在于另一个人能理解预期是什么、实际发生了什么,以及下一步决定是什么。报告应描述声明过的应用上下文,不能暗示一次运行解释了所有浏览器或用户。BotBrowser 可以在声明的版本、profile 和路径中重复获授权的观察,但不能单独证明普遍支持、隐私、安全或根因。
从一个问题开始
在收集证据前写出用户可见的问题。“权限被拒绝后,自有设置页是否显示恢复操作?”比“浏览器支持权限吗?”更有边界。用可观察的词语写预期结果,再用相同词语记录实际结果。一个报告只处理一个决定,审查者才看得出哪些证据真正重要。
Chromium 的错误报告指南强调清晰步骤、预期与实际行为,以及足以复现问题的环境信息。它不要求凭据、账户历史或完整浏览器转储。使用受控路径和合成数据,除非公开示例确实必要。
记录适量上下文
只记录可能改变结果的条件:浏览器家族和版本、平台类别、应用版本、路径、视口、语言、输入方式、profile 或权限状态,以及有边界的运行次数。分开记录应用、浏览器和 profile 版本。如果多个条件同时改变,就标记为原因未知,不要直接归咎。写“最新浏览器”不能形成稳定基线。
BotBrowser 的受控上下文可以用声明的 Chromium 版本、profile、路径、视口和合成测试状态重复同一个获授权断言。这支持对已命名设置进行比较,不是对访问者的调查,也不是浏览器认证。BotBrowser 不能证明结果适用于每个浏览器、第三方站点、用户或安全条件;产品决定仍由应用负责人和审查者作出。
分开观察与解释
| 报告字段 | 可以支持 | 不能证明 |
|---|---|---|
| 公开要求 | 含义和允许行为 | 所有浏览器都已部署 |
| 预期分支 | 待测产品契约 | 所有地方都已实现 |
| 观察分支 | 声明上下文中的结果 | 没有比较时的根因 |
| 运行次数和条件 | 可复现性或间歇性 | 身份、匿名或普遍质量 |
| 产品行动 | 有边界的下一步 | 第三方站点的保证 |
证据只支持“版本变化后观察到,原因未知”时,就这样写。不要从重复值推断身份,也不要从缺失值推断匿名。RFC 6973 的隐私注意事项提醒我们,在设计报告时最小化数据,并考虑观察者、保留和披露。
证据报告模板
问题:正在检查什么用户可见行为?
预期:声明的成功、拒绝、错误或回退分支。
实际:观察到的分支、可见结果和运行次数。
上下文:浏览器版本、平台、应用版本、路径、语言、profile、视口。
不确定性:未控制的条件和未建立的原因。
隐私边界:合成数据、脱敏项、排除的来源和记录。
行动:启用、回退、调查、增加回归检查,或请求一个事实。
保留第一个失败步骤和恢复动作。只附加会改变复现结果的最小脱敏截图、控制台片段或 trace。移除凭据、cookie、授权头、私有 URL、客户标识和无关标签页。私有证据可以留在有负责人和保留期限的批准渠道;公开报告只需说明它存在,不要复制其内容。
审查不确定性并跟进
无法复现时,一次只请求一个缺少的条件:固定版本、干净 fixture、权限状态或视口。间歇性行为要记录分子、分母和时间窗口。比较版本时固定应用、profile、路径和数据,只改变一个维度。比较可以指出值得调查的边界;除非设计控制了其他变量,否则不能建立因果关系。
产品行动应写明下一步:发布、使用回退、增加回归 fixture、暂停路径,或收集一个有边界的事实。浏览器观察是行动的证据,不是行动本身。MDN 的 Web 文档可以说明浏览器表面如何暴露,应用负责人决定需要哪个分支以及保留哪些数据。
明确隐私边界
浏览器测试报告可能包含对决定没有必要的信号。排除无关来源、账户关联、私有网络观察和完整 profile 转储。对普遍行为、第三方站点、身份推断和安全认证写“未测试”。这让报告保持诚实,也让后续审查者可以设计更小的下一项测试。
BotBrowser 可以帮助团队在声明的 profile、版本和页面上下文中重复获授权的浏览器断言。它不能替代公开规范、应用所有权、隐私审查或根因调查。参阅浏览器交互验证和浏览器版本验证了解相邻的执行和发布问题。
一份可执行的报告应在第一页回答五个问题:测试了哪条路径,用户应该看到什么,浏览器显示了什么,哪些条件保持不变,以及请求什么行动。根据决定写明路径、版本或隐私负责人。长 trace 放在说明之后,每个附件都关联到具体句子。目标是让别人用合成数据重复声明的分支,并避免把观察结果写成诊断结论。
来源
当公开指南、浏览器版本、fixture 范围、隐私边界或产品决定改变时,重新检查它们。