返回知识中心
入门

Twitter 抓取:X API 时间范围与浏览器边界

按帖子、提及、搜索与首页需求选择 X 接口、历史范围和认证类型,区分嵌入 HTML、算法排序页面与结构化 API 数据。

BotBrowser Team

文档中心

想直接进入 入门 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

Twitter 抓取的需求常在编写第一个选择器之前就出现问题:所需历史范围或排序不符合选定的 X 接口。应先确定数据产品、认证上下文和时间区间。BotBrowser 支持 Chromium 与 Playwright、Puppeteer 集成,用于另行获授权的浏览器检查;它不能授予 X API 权限、扩大接口历史范围、重现算法排序或解除平台限制。只有明确仍存在获准执行的浏览器任务后,才进入浏览器配置流程。

要点速览

  • 账号发布的帖子、提及账号的帖子、按时间排序的首页和搜索结果是不同数据集,各有不同的文档边界。
  • 近期搜索覆盖最近 7 天;完整归档产品可追溯到 2006 年 3 月,但须符合其访问条件。
  • 首页倒序时间线接口不重现算法排序;嵌入时间线返回展示标记,不是帖子历史导出。
  • OAuth 2.0 访问令牌到期、API 请求计数和浏览器会话寿命是三件事。增加浏览器会话不能补上缺失的数据访问资格。

X 数据选择:账号发布的帖子最近最多 3,200 条,提及最近最多 800 条,近期搜索覆盖 7 天,归档追溯至 2006 年 3 月;首页倒序时间线不含算法排序,oEmbed 返回展示 HTML。

目录

将需求对应到一种 X 结果

X 时间线文档区分账号发布的帖子、提及以及已认证用户的首页倒序时间线。客户想要提及其账号的回复,并不等于需要该账号自己发布的帖子。产品要知道某个人在算法首页看见的顺序,也不等于需要时间线接口的顺序。应在需求说明中保留区别,而不是把所有页面都笼统称作“推文”。

所需结果候选官方接口文档边界与选择规则
一个账号发布的帖子/2/users/:id/tweets最近最多 3,200 条;筛选器和时间参数本身不构成账号全生命周期归档
提及一个账号的帖子/2/users/:id/mentions最近最多 800 条提及;不能用账号自己发布的帖子替代
已认证用户按时间排序的首页/2/users/:id/timelines/reverse_chronological最近 3,200 条或 7 天;需要用户认证,不包含算法排序
近期区间内符合查询的帖子/2/tweets/search/recent最近 7 天,每次最多 100 条;核实开发者和应用权限,以及查询是否受支持
更早区间内符合查询的帖子/2/tweets/search/all归档可追溯到 2006 年 3 月,每次最多 500 条;核实当前按用量付费或 Enterprise 访问条件
展示帖子或受支持的用户、列表时间线https://publish.x.com/oembedJSON 中包含嵌入 HTML;时间线展示 1-20 条,不是结构化历史导出
首页精确的算法排序这些参考资料未确立等价官方结果停止或缩小需求;浏览器可见不代表存在稳定的提取接口契约

这些数字是文档中的上限或窗口,不承诺每次请求都会返回同样数量。可用性、过滤条件、认证和接口的当前约定仍然重要。搜索概览写明近期搜索面向所有开发者,同时列出开发者账号、应用和令牌等前提。“所有开发者”不是匿名公开接口,也不意味着任何项目都已具备执行条件。

阅读文档还须结合日期。API 简介当前写的是按使用量付费、无订阅;部分时间线和分页文本仍使用“标准层级”措辞。不能凭这些标签恢复旧的固定套餐比较。在估算任务预算前,应核实当前提供的产品和应用实际访问资格;请求频率限制与用量费用回答不同问题。这里不假定具体价格或订阅计划。

展示 HTML 有不同的输出约定

oEmbed 的规范参考页描述一个 JSON 外层,其中用于展示的内容是由 X 小组件 JavaScript 识别的 HTML。时间线参数允许展示 1 到 20 条。这控制的是嵌入呈现,不是采集账号历史时的分页大小。响应使用 JSON,不会自动把它变成结构化帖子数据 API。

同一参考页指出返回标记可能变化,建议按照响应给出的缓存寿命存储。应让 cache_age 始终对应那份展示响应,不能把缓存片段当作帖子文本或可用性的永久记录。文档标明不要求认证、无频率限制,适用范围仅是这个嵌入资源,不能推广到搜索、时间线、无限制再利用或未来所有请求。此次比较没有实际执行 oEmbed 请求。

展示 X 内容还受响应结构之外的条件约束。当前开发者政策涵盖公开展示、隐私和再分发;展示条款涉及内容更新及内容不可用后的处理。嵌入不自动解决后续分析或数据集分发权利。抓取权限决策记录提供一般授权问题,接口矩阵解决的则是更窄的技术选择。

用三个需求检验历史边界

以下是构造的需求,不是成功 API 调用或来自 X 账号的观察记录。它们分别暴露选错数据集、用近期接口索取旧历史、把可见算法页面误认为 API 可用顺序等问题。有效结果应是接口选择和仍待核实的条件,而不是伪造一份包含所需数据的响应。

近期查询需要明确区间

假设一个获批集成需要特定区间内匹配的公开帖子,区间完全位于最近 7 天内,字段包括文本、标识符和创建时间。候选方案是近期搜索,但仍取决于查询运算符支持、应用访问资格和获准目的。需求应写明 UTC 起止时间、精确查询和字段,而不是“所有近期社交活动”,后者混合了搜索匹配与其他页面的数据。

字段指南说明,默认帖子查询仅返回最少属性,包括 id、text 和 edit_history_tweet_ids。created_at 等额外属性须通过对应字段参数请求。请求一个字段不会取消其认证前提;关联对象的属性可能既需要展开,也需要该对象自己的字段参数。应按所选接口定义结构,而不是照着帖子卡片截图确定字段。

对于搜索请求,跟随延续值时须保持查询与区间不变。近期搜索分页指南说明从响应读取 next_token,并在后续请求中发送。中途更改查询后,已收集页面就不再描述同一次搜索。增大分页数量既不能减少权限要求,也不能扩大接口的历史窗口。

可以用下面的应用侧说明明确这些区别;它可复制,但不是 API 响应:

result_kind = recent_search_matches
interval = explicit UTC start and end within the last 7 days
query = fixed throughout this pagination sequence
requested_fields = id,text,created_at
continuation = response meta.next_token
completion = no next_token within this endpoint and query
excluded_claim = complete lifetime account history

这是一种规划记法,不是可执行请求语法。完成条件有意限定在选定接口和查询之内。抵达没有延续值的一页,不证明所有曾发布的相关帖子都可获取、不证明查询表达了预期概念,也不证明能恢复不可用内容。结构检查和接口选择,与证明数据覆盖程度是不同问题。

历史提及不等于账号自己发布的帖子

再假设客户需要过去 12 个月里对其账号的所有提及。/2/users/:id/mentions 的文档上限是最近 800 条提及。不能因为循环已读完分页,就改称完整年度归档。账号发布的时间线同样不是正确替代:账号写出的帖子与提及账号的帖子,成员条件不同,即使其中一些记录重合。

如果历史查询能正确表达,归档搜索产品可能是候选,但必须检查支持的运算符、访问条件、时间区间和返回字段。搜索概览中追溯到 2006 年 3 月的范围,描述的是产品能力边界,不是客户年度数据集完整性的证明。若项目不能确立受支持的查询和获准访问,应将年度需求标为未解决,或缩小为文档支持的近期范围。

对早于最近 3,200 条的账号自发帖子,推理相同。添加更早的起止时间参数,本身不会取消时间线的明示边界。应在候选接口旁记录限制,防止下游分析者把“取完可用分页”误读成“取得账号全生命周期历史”。导出说明中明确可见的限制,比不带条件的完整标签更有用。

算法首页不等于时间排序首页

第三个需求是取得特定账号在首页看见的精确算法顺序。官方倒序时间线明确不含算法排序,需要用户认证,并描述来自已关注账号的最近 3,200 条或 7 天帖子。这是有用的官方数据集,但选择它等于更改原来的排序需求,而不是满足该需求。

如果按时间排序足够,应取得正确的用户授权,并在消费方约定中写明顺序。若精确算法呈现仍不可或缺,这些来源没有确立稳定的官方等价结果。另行获准的浏览器观察或许可以描述某个时刻渲染了什么,但不能确立可重放的排序历史、完整推荐集合或重放内部请求的权限。渲染与分页比较解释响应和渲染的一般区别,不会把 DOM 变成 API 访问资格。

将认证与寿命绑定到具体接口

认证概览区分应用身份对公开信息的访问和用户上下文流程。应用身份的持有者凭证不能与用户授权互换;首页时间线参考明确要求 OAuth 用户上下文。同样,控制一个账号或获得客户同意,不代表运营者拥有 X、可以请求所有字段,或已获准进行所有后续使用。

凭证上下文文档中的寿命或用途操作含义
OAuth 2.0 Authorization Code with PKCE访问令牌默认 2 小时;offline.access 才签发刷新令牌获授权时实现规定的更新流程;区分访问令牌和刷新令牌
OAuth 1.0a 用户上下文用户令牌指南称取得永久访问令牌不将该措辞推广到 OAuth 2.0、应用凭证或浏览器 Cookie;授权仍可能变化
应用身份持有者上下文在接口支持时访问公开信息确认接口兼容;所读概览没有确立通用令牌寿命
已登录浏览器会话浏览器侧会话,不是 X API 凭证类别这些来源没有确立统一 Cookie 寿命;不能用作替代 API 凭证

PKCE 指南给出默认 2 小时访问令牌寿命,并解释离线访问权限在签发刷新令牌中的作用。刷新令牌允许走受支持的更新流程,不会使授权变成不可撤销。OAuth 1.0a 指南只在自己的流程中使用永久令牌措辞。将两者分开,能避免长时间采集程序假定任何登录方式取得的令牌都有相同表现。

估计连续运行能力之前,应把凭证类型和所需权限附到接口上。用户批准某项应用操作,不会让应用身份请求自动成为用户认证请求。访问令牌到期,本身不意味着频率额度耗尽。受支持的刷新操作处理令牌有效性;额度重置处理请求计数窗口。诊断字段应分开记录两类事件,并排除日志和审核材料中的秘密凭证。

浏览器持久化又是另一层。多账号会话流程讨论获授权浏览器会话的隔离与存储,不负责定义 X API 授权或 X Cookie 寿命。本地文件仍存在时,保存的浏览器状态也可能已经不被接受;保留文件不证明 API 令牌依旧有效或账号权限没有变化。

区分请求限额与浏览器观察

频率限制参考按接口和认证上下文分配限制。用户认证请求可能记入用户额度,应用身份请求可能记入应用额度。响应头 x-rate-limit-limit、x-rate-limit-remaining 和 x-rate-limit-reset 表示适用上限、剩余额度和重置时间戳。应将接口和凭证上下文与这些值一起记录;搜索响应里的头部不是提及接口的预算。

因此,有用的诊断要分开四个事实:请求了哪个接口、采用何种认证上下文、实际收到什么响应和头部,以及应用当前的计费或访问条件。公开的请求频率表不是余额账单。还有请求额度不证明还有付费用量余额;能够访问一个产品,也不证明拥有另一个产品的历史范围。应检查实际响应和当前开发者账号,而不是将大张限额表固化为应用假设。

开发者协议禁止超过或规避 API 访问限制。更换账号、浏览器身份或请求路径,不能补救已耗尽或未取得的访问资格。一般等待、有界重试和并发规划由请求频率与并发解释;X 特有的任务是先识别适用的计数范围,再考虑这些机制。

这里没有实际使用 X 账号、调用 API、检查付费余额、浏览器时间线或嵌入响应。文档矩阵可以排除不匹配的设计,但只有适当获授权的最小请求,才能确立某个应用当下具体收到什么。即使如此,结果也只证明记录条件下的一次响应,不证明永久可用、完整归档覆盖或浏览器布局稳定。权限、响应语义和采集完整性必须分别陈述。

常见问题

“Twitter 抓取 API”是不是一个接口?

不是。账号发布的帖子、提及、首页、搜索和嵌入展示,成员条件与输出约定都不同。某接口返回帖子形状的记录,不代表它能自动替代其他数据集。

分页能从近期搜索进入完整归档吗?

不能。next_token 只在所选产品范围内推进同一查询。更早的需求需要另行支持的归档接口和访问决策,不是增加近期搜索页数。

空响应或较短响应能证明账号没有更早帖子吗?

不能。请求只描述一种接口、时间、过滤条件和授权上下文。在该范围内读完,不证明全局不存在,也不构成越过边界的理由。

API 无法满足需求就一定要用浏览器吗?

不是。不受支持的历史、字段或排序需求,可能需要缩小,或寻找另一个获准数据源。浏览器选择须服从已明确的角色,不能提供缺失的平台授权。

公开来源

实际结论

先选择 X 结果,再选浏览器:账号发布的帖子、提及、时间排序首页、有界搜索或嵌入展示。将所需区间、排序、字段和授权上下文写在文档接口限制旁。组合无法满足任务时,应缩小或停止;可以满足时,先执行获准的最小请求,描述其实际范围后再扩大采集。

#Twitter Scraping#X API#浏览器自动化#数据采集

本文属于指南: 浏览器自动化入门:首次运行地图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。