返回知识中心
网络

代理池管理:按工作负载规划路由分配

从并发会话、绑定时长和出口条件推导代理分配数量,区分 endpoint、实测出口与故障备用,避免把代理数量当作 IP 数量。

BotBrowser Team

文档中心

想直接进入 网络 文档吗?

这篇文章属于知识中心的指南库。若你要步骤化配置、参考说明和持续更新,请直接进入对应 docs 分区。

代理池管理应从哪些工作必须保持同一路由开始,而不是从代理地址清单开始。先数清同时需要绑定的工作单元,再确定绑定持续多久,以及供应商对出口承诺了什么。六个工作进程不一定需要六个 IP,六个代理 endpoint 也不能证明存在六个不同出口。

BotBrowser 文档提供按浏览器上下文分配代理,以及将浏览器地理设置与代理出口对齐的能力。按上下文分配功能要求文档列明的 ENT Tier3 授权和已加载的配置文件。BotBrowser 不提供代理池,不保证供应商出口稳定,也不授予目标站访问权限。分配调度、供应商约定和实际路由验证仍由操作者负责。

TL;DR

  • 先确定绑定单元:请求、批次、会话或浏览器上下文。工作进程数不能单独决定池大小。
  • 分开记录配置 endpoint、逻辑分配和观测到的出口地址,三者回答不同问题。
  • 根据明确的共享规则推导活跃分配数量,故障备用另计。
  • 在工作要求的时长内保持绑定;粘性会话标识的含义取决于供应商的具体文档。
  • 扩大代理池不会扩大目标站批准的流量额度。

目录

假设分配表:六个无状态进程共享路由需要一个分配,四个独立会话需要四个,两个地区各三个独立上下文需要六个。这些数字不是唯一 IP 数量。

先确定池分配的对象

endpoint 是配置中的代理连接地址。assignment 是应用将某个工作负载与命名路由绑定的逻辑分配。观测出口则是某个接收服务在某一时刻看到的公网地址。不同 endpoint 或凭据是否对应不同出口,要看供应商条款与实际观测。仅数配置项不能建立这种映射。

Playwright 上下文代理选项 将代理配置应用到上下文,但不规定供应商如何分配出口。浏览器工作首先要决定:一个上下文是否就是一个绑定单元,还是多个已获许可的上下文可以共享路由。按上下文代理的归属 解释如何应用这个决定;代理池计划则确定这些上下文开始前需要准备多少绑定。

采购和调度记录应保留三列:endpoint 库存、可同时建立的逻辑分配,以及对实测出口的具体要求。100 个配置项没有额外证据就不能满足 100 个独立出口的要求;反过来,多项逻辑分配也不必然要求多个主机名。分别询问供应商的并发会话数、连接限制、地区选择和出口保持时长,不要将它们合成一个含糊的“池容量”。

目标站限制是另一项输入。RFC 6585 第 4 节 不规定服务器如何识别用户,或如何为 429 响应统计请求。限制可能归属于账号,也可能归属于服务器定义的其他范围。不能假设增加路由就会改变这个范围。已批准的流量预算应与分配表独立保存。

计算同时需要的分配

以下都是假设的规划示例,不是已执行的代理测试,也不是供应商推荐。结果只由各行声明的共享规则推导。任何一行都不表示某次分配拥有独立 IP、支持特定请求速率,或会被目标站接受。

工作负载与明确规则同时工作量活跃分配数绑定时长
无状态检查获准共享一条路由6 个工作进程1一个批次
每个独立会话需要独立分配,会话内页面共享上下文4 个会话,每个 3 页4整个会话
每个地区上下文需要独立分配2 个地区,各 3 个上下文6整个上下文

第一种情形中,六个工作进程只占一个绑定,是因为应用允许共享。这不能证明路由带宽足够,也不能证明六个并发请求已获批准。如果请求预算允许的启动数更少,即使有可用路由,调度器也必须等待。

第二种情形中,十二个页面属于四个会话上下文。逐页分配路由会产生十二个绑定,却没有满足新的要求。四个分配的结果依赖于每个会话内部页面共享上下文和路由。如果某页实际上属于不同账号或生命周期,应修改输入分组,不能继续套用原结果。

地区示例得到六个同时分配,是因为规则明确要求每个上下文独立绑定。它不能证明存在六个不同出口,也不保证地区结果正确。如果要求不同公网地址,需要单独增加并验证这一条件。代理配置选型 区分启动级、上下文级和动态切换级作用域;先选择作用域,再进行算术。

工作量更大时,按路由共享规则对同时活跃的单元分组,分别统计绑定需求,并将分组与总数一同保留。不存在把每秒请求数换算成代理数的通用公式:获准流量、会话隔离、供应商容量和浏览器资源限制是不同约束。

峰值重叠与排队任务

代理池应按时间上重叠的工作单元规划,而不是按一天提交的任务总数。假设四会话示例还有 8 个会话排队。按既定规则,排队会话在被接纳前不占分配,因此整个作业虽然包含 12 个会话,仍只需 4 个活跃分配。这个结果依赖调度器真正执行四会话准入限制;把限制写在表里不会自动生效。

即使没有正在进行的请求,分配也可能仍被占用。会话在等应用响应、已批准的检查点或本地处理时,可能仍需原路由。如果绑定要持续到会话结束,就不能因短暂网络空闲把它转交另一会话。应区分已接纳、排队、释放中和可复用状态。上下文生命周期 提供浏览器侧边界,分配记录提供应用侧准入决定。

应用状态分配含义
queued准入前不占绑定
bound持续占用分配,包括网络空闲期
releasing清理或声明的释放检查尚未完成
reusable应用政策允许再次分配

地区作业需要保留各地区小计。一个地区的六个名额不能满足 2 个地区各 3 个的要求。即使总数同为 6,地区分配仍可能不成立。队列应等待符合条件的已批准名额,而不是随便替换一个 endpoint。允许哪些替代方式应写入工作负载约定,尤其是输出将与地区基准比较时。

规定绑定时长

绑定可以持续一次请求、一个批次、一次登录会话、一个上下文或多轮作业。选择满足状态要求的最短时长。地区截图批次可能在采集结束后释放分配;会话流程可能要求路由保持到所有步骤结束。这些是应用政策,并不是“代理池”一词自带的属性。

购买粘性路由前,应确认供应商何时开始计时、哪些事件结束绑定,以及重连是否保留出口。未知条款就记录为未知。固定的 endpoint 字符串不足以证明固定出口。即使有书面时长承诺,也仍需在授权环境内观测相关行为,不能把产品名称当作运行证据。

浏览器存储有独立生命周期。Playwright 浏览器上下文 隔离浏览器状态;选择另一个代理不等于清除 cookie 和本地存储。应明确更换路由是否使当前会话失效。如果应用约定要求一个新的隔离会话,新上下文是保守边界,但仍要规定是否及如何恢复状态。

如果允许保留上下文并更换路由,应开始新的路由片段并记录变更时间。已在途请求和持久连接会使归属判断复杂化。轮换边界说明 负责解释这些逐请求细节。在释放条件满足前保持分配占用;修改设置本身不能证明每条既有连接都已经改道。

输入可重放不等于出口可重复

可重复的分配计划与相同公网 IP 是两种要求。后续作业可以复用分组、地区政策、配置文件引用和供应商产品,却获得不同出口。这对授权的无状态采集可能可以接受,对明确要求同一路由的比较则可能无效。在选择供应商或保留浏览器状态前,先确定必须重复的究竟是什么属性。

未知出口时长是尚未解决的输入,不能自行填一个持续时间。应用可以拒绝接纳依赖供应商未提供保证的任务。BotBrowser 地理对齐 处理的是与检测出口相关的浏览器设置,不能把未说明的供应商时长变成稳定网络约定。将供应商条款与观测分开保存,后续出现差异才有明确归属。如果时长在作业中到期,先保留受影响的路由片段,再按既定停止或转换规则处理,之后才能接纳后续步骤。

单独计算备用容量

活跃容量服务正常工作,备用容量则是针对特定故障条件批准的替代项。如果四会话示例记录 activeAssignmentsNeeded=4,另记 failoverReserve=2,计划中就有 6 个分配名额。这不表示存在 6 个唯一出口、6 条健康路由,也不意味着获准增加同时会话。

应规定失败分配如何退出,再启用备用项。如果旧、新上下文允许在清理期间重叠,就明确计入临时占用;如果规则禁止重叠,必须等原单元停止。不要将转换容量藏在没有解释的百分比里,也不要把每个配置 endpoint 都称作可用备用。

备用不是重试指令。目标站拒绝、撤销权限或出现过载信号时,正确动作可能是停止,而不是更换路由。请求频率与并发限制 仍然约束整个授权作业。代理池管理器不应把账号层拒绝转换成寻找其他出口。

计划还应区分已断开的路由与可复用名额。应用根据隔离要求、清理状态及已验证的供应商行为,决定何时将名额标为 reusable。单次网络断开未必满足这项政策。将释放检查放在 bindingLifetime 旁边,否则调度器可能高估空闲容量,即使所有 endpoint 看起来仍可连接。

备用项何时具备替代资格

一个能够接受连接的 endpoint 不一定适合每种负载。备用项必须符合声明的协议、允许地区、身份验证配置和绑定时长。如果会话剩余步骤要求稳定分配,行为未知的路由就不满足条件。在调度器将名额标为合格前,应通过供应商答复或部署检查解决每个必要条件。

故障原因应具体区分:凭据不可用、代理连接拒绝、观测出口不符和目标应用错误属于不同字段。代理配置总览 给出网络配置选择,并不认证供应商健康状况。可以因某条必要属性不成立而排除路由,不必虚构信誉分,也不能把没有证明关联的目标错误当作代理损坏证据。

保留足以解释重放的记录

有用的代理池工作表记录 endpoint 清单没有表达的决定。以下字段是一套原创规划结构,不是 BotBrowser API,也不是测量结果。字段值保存在应用记录中,凭据继续保存在部署的机密存储里。

字段要保存的决定或观测
workloadUnit请求、批次、会话或浏览器上下文
maxConcurrentBoundUnits同时需要绑定的工作单元峰值
sharingPolicy哪些单元可共享逻辑分配
bindingLifetime绑定开始事件与释放条件
providerExitSemantics文档声明的固定、轮换或未知出口行为
activeAssignmentsNeeded按声明分组规则推导的结果
failoverReserve单独记录的批准备用项与启用条件
stateResetBoundary改路由时保留还是替换浏览器状态
replayRecord工作与上下文标识、路由标签、观测出口、时间及路由片段

出口观测应注明接收服务和时间。它只能说明该接收方看到了什么,不能证明所有目标或协议使用同一出口。观测复查只能在批准的测试范围内进行。如果必要出口条件未知或失败,就按计划保持未分配状态或停止任务;应用响应 HTTP 200 不能补出缺失的路由证据。

BotBrowser 的按上下文代理文档 提供分配机制和授权前提,代理地理对齐 说明浏览器设置的匹配。两者都不提供供应商容量、IP 保持保证或应用分配器。应在工作表旁保存已加载的配置文件与设置引用,不把浏览器地理设置一致当作网络路径证明。

分配计划的验收检查

在授权作业前,可以按假设四会话政策检查分配器。4 个活跃绑定全部占用时,第五个会话应继续排队;在已接纳会话内打开第三页,不应产生第五个绑定;会话结束后,只有应用政策接受清理状态、隔离条件与已验证供应商行为,才可重新分配。这些是建议的应用断言,不是已经通过的浏览器或供应商测试。

缺失信息也应成为检查情形。如果要求观测出口但无法获取,记录必须保留缺失状态和准入决定。如果列出 2 个备用项但都不符合所需地区,那么该负载实际没有合格备用。目标返回 429 时,RFC 6585 的边界仍然成立:保存响应及对应等待或停止决定,不能假定换一次分配就改变服务器统计范围。

常见问题

每个工作进程都需要独立代理吗?

只有明确的绑定规则如此要求时才需要。相同进程数下,共享无状态任务和独立会话流程可以需要不同数量。

6 个 endpoint 等于 6 个 IP 吗?

未必。两者关系由网关及供应商分配方式决定;观测到的不同出口是另一项条件。

闲置备用可以用来增加正常流量吗?

不能自动推导。备用启用与目标流量许可是独立决定,替换前还可能需要先停掉既有单元。

来源

实践结论

采购或调度路由之前,先写清共享规则与绑定时长。按同时活跃的工作分组推导分配数量,另列替代项,并将供应商条款和实测出口附在相应路由片段上。这样得到的代理池计划可以解释,而不会混淆 endpoint、会话、公网地址与目标站权限。

#Proxy Pool Management#代理#Browser Context#Capacity

本文属于指南: 代理配置总览:浏览器网络决策图

在 BotBrowser 里跑一遍同样的检查

加载 profile,让刚读到的这些信号在浏览器内部保持一致,并在正式上线前先在自己的机器上确认结果。