Назад в Центр знаний
Сеть

Управление пулом прокси по рабочей нагрузке

Рассчитайте назначения прокси по параллельным сессиям и сроку привязки. Разделяйте адреса подключения, наблюдаемые выходы и резерв для замены.

BotBrowser Team

Документация

Нужна структурированная документация по теме Сеть?

Эта статья относится к редакционной библиотеке. Для пошаговой настройки, справки и постоянных обновлений переходите сразу в соответствующий раздел docs.

Управление пулом прокси начинается с работы, которой нужно сохранить маршрут, а не со списка адресов. Посчитайте единицы нагрузки, требующие одновременных назначений, определите срок каждой привязки и выясните, что поставщик обещает относительно выходных адресов. Шести рабочим процессам не обязательно нужны шесть IP-адресов, а шесть адресов подключения к прокси не доказывают наличие шести разных выходов.

BotBrowser документирует назначение прокси отдельным контекстам и согласование географических настроек браузера с выходом прокси. Для функции назначения по контекстам необходимы указанная лицензия ENT Tier3 и загруженный профиль. BotBrowser не предоставляет пул, не гарантирует стабильность выходов поставщика и не даёт разрешения на доступ к целевому сайту. Распределение, договорённости с поставщиком и проверка фактического маршрута остаются задачами оператора.

TL;DR

  • Определите единицу привязки: запрос, пакет, сессию или контекст браузера. Число рабочих процессов само по себе не определяет размер пула.
  • Разделяйте настроенные адреса подключения, логические назначения и наблюдаемые выходные адреса: это разные показатели.
  • Рассчитывайте активные назначения по явному правилу совместного использования, а резерв для замены учитывайте отдельно.
  • Сохраняйте маршрут на нужный срок; смысл идентификатора закреплённой сессии зависит от документированного поведения поставщика.
  • Увеличение пула не расширяет объём трафика, разрешённый целевым сайтом.

Содержание

Условный расчёт: шесть процессов без состояния с общим маршрутом требуют одного назначения, четыре отдельные сессии - четырёх, два региона по три отдельных контекста - шести. Это не число уникальных IP.

Что именно распределяет пул

Адрес подключения - это настроенный адрес прокси. Назначение - установленная приложением связь между нагрузкой и именованным маршрутом. Наблюдаемый выходной адрес - публичный адрес, который конкретный принимающий сервис увидел в конкретный момент. Соответствие адресов подключения или учётных данных различным выходам определяется условиями поставщика и фактическими наблюдениями. Подсчёт записей конфигурации сам по себе этого соответствия не устанавливает.

Параметр прокси контекста Playwright задаёт конфигурацию для контекста, но не политику распределения поставщика. Сначала решите, является ли единицей привязки один контекст или нескольким разрешённым контекстам можно использовать общий маршрут. Владение маршрутом контекста объясняет применение этого решения; план пула определяет, сколько привязок должно быть доступно до запуска.

В закупках и планировщике сохраняйте три отдельных показателя: список адресов подключения, число одновременных назначений и необходимые условия для наблюдаемых выходов. Список из 100 записей не подтверждает 100 разных выходов без дополнительных доказательств. И наоборот, общая точка подключения может обслуживать несколько назначений без нескольких имён серверов. Уточняйте отдельно одновременные сессии, лимиты соединений, выбор региона и срок сохранения выхода.

Ограничения целевого сайта - отдельные входные данные. Раздел 4 RFC 6585 не определяет способ идентификации пользователя и подсчёта запросов для ответа 429. Лимит может относиться к аккаунту или другой области, заданной сервером. Нельзя предполагать, что дополнительные маршруты меняют эту область. Согласованный бюджет трафика должен оставаться независимым от таблицы распределения.

Расчёт одновременных назначений

Следующие случаи - условные примеры планирования, а не выполненные испытания прокси или рекомендации поставщиков. Каждый результат следует из указанного правила совместного использования. Ни одна строка не обещает уникальный IP, определённую частоту запросов или принятие запросов целевым сайтом.

Нагрузка и явная политикаОдновременная работаНужные активные назначенияСрок привязки
Проверкам без состояния разрешён общий маршрут6 процессов1Один пакет
Каждой отдельной сессии нужно своё назначение; её страницы используют общий контекст4 сессии, по 3 страницы4Вся сессия
Каждому региональному контексту нужно отдельное назначение2 региона, по 3 контекста6Весь срок контекста

В первом случае шесть процессов используют одну привязку, поскольку приложение разрешает совместное использование. Это не доказывает достаточную пропускную способность или разрешение шести одновременных запросов. Если согласованный бюджет допускает меньше запусков запросов, планировщик обязан ждать даже при доступном маршруте.

Во втором случае двенадцать страниц принадлежат четырём контекстам сессий. Маршрут на каждую страницу создал бы двенадцать привязок без нового полезного требования. Результат в четыре назначения зависит от общего контекста и маршрута страниц каждой сессии. Если страница относится к другому аккаунту или жизненному циклу, измените исходную группировку, а не переносите прежний результат автоматически.

Региональный пример даёт шесть назначений, потому что политика требует отдельную привязку для каждого контекста. Он не доказывает шесть разных выходов и не гарантирует региональный результат. Требование разных публичных адресов нужно добавить и проверить отдельно. Выбор конфигурации прокси различает уровень запуска, контекста и переключения; сначала выбирают область действия, затем считают.

Для большей нагрузки сгруппируйте одновременно активные единицы по правилу совместного использования и посчитайте нужные привязки внутри групп. Сохраните группировку вместе с итогом. Универсальной формулы перевода запросов в секунду в число прокси нет: разрешённый трафик, разделение сессий, возможности поставщика и ресурсы браузера - разные ограничения.

Пиковое пересечение и очередь

Размер пула определяется пересекающимися во времени единицами, а не всеми задачами за день. Допустим, в примере с четырьмя сессиями ещё 8 ожидают в очереди. По объявленной политике ожидающие сессии не занимают назначения до допуска. Поэтому плану по-прежнему нужны 4 активных назначения, хотя всего в задании 12 сессий. Это верно только при реальном ограничении допуска планировщиком; запись в таблице ничего не обеспечивает автоматически.

Назначение может быть занято без выполняющихся запросов. Сессии, ожидающей ответа приложения, согласованной контрольной точки или локальной обработки, всё ещё может требоваться прежний маршрут. Если привязка действует до завершения сессии, краткий сетевой простой не позволяет передать её другой сессии. Разделяйте допущенные, ожидающие, освобождаемые и повторно доступные единицы. Жизненный цикл контекста задаёт браузерную границу, а запись распределения - решение приложения о допуске.

Состояние приложенияПоследствие для распределения
queuedДо допуска привязки нет
boundНазначение занято, включая сетевой простой
releasingОчистка или объявленная проверка освобождения ещё не завершена
reusableПолитика допускает новое назначение

Для региональной работы сохраняйте промежуточные итоги. Шесть мест в одном регионе не удовлетворяют требованию по 3 места в каждом из 2 регионов. Общий итог может равняться 6 при неверном распределении. Полезная политика очереди ждёт подходящее разрешённое место, а не подставляет произвольный адрес подключения. Допустимые замены должны быть записаны в контракте нагрузки, особенно при сравнении с региональным эталоном.

Срок действия привязки

Привязка может действовать один запрос, пакет, авторизованную сессию, контекст или несколько запусков. Выбирайте минимальный срок, сохраняющий нужное состояние. Пакет региональных снимков может освобождать назначение после сбора; многошаговой сессии может требоваться неизменный маршрут до конца. Это политики приложения, а не свойства, подразумеваемые словом «пул».

Перед покупкой закреплённого маршрута выясните, когда начинается отсчёт, какие события завершают привязку и сохраняет ли переподключение выход. Неизвестные условия так и отмечайте. Неизменная строка адреса прокси не доказывает неизменный выходной IP. Даже документированный срок - обязательство поставщика, соответствующее поведение которого нужно наблюдать в разрешённой среде.

У браузерного хранилища собственный жизненный цикл. Контексты Playwright изолируют состояние; выбор другого прокси не равен удалению cookies и локального хранилища. Решите, делает ли смена маршрута текущую сессию недействительной. Новый контекст - консервативная граница, если контракт требует новую изолированную сессию, но политика восстановления состояния всё равно должна быть явной.

При разрешённой смене маршрута с сохранением контекста начните новый сегмент маршрута и запишите время. Уже выполняющиеся запросы и постоянные соединения усложняют атрибуцию. Материал о границах ротации разбирает эти детали по запросам. Сохраняйте назначение занятым до условия освобождения: изменение настройки не доказывает, что все существующие соединения перешли на новый маршрут.

Повторение входных данных не обещает тот же выход

Воспроизводимый план распределения и повторение публичного IP - разные требования. Следующий запуск может сохранить группировку, региональную политику, ссылку на профиль и продукт поставщика, но получить другой выход. Это может подходить разрешённому сбору без состояния и нарушать контракт сравнения с неизменным сетевым маршрутом. Определите повторяемое свойство до выбора поставщика или сохранения состояния браузера.

Неизвестный срок выхода остаётся нерешённым входным условием: не придумывайте длительность. Приложение может не допускать работу, требующую отсутствующей гарантии. Географическое согласование BotBrowser касается настроек, связанных с обнаруженным выходом; оно не превращает неизвестный срок в стабильный сетевой контракт. Храните условие поставщика отдельно от наблюдения, чтобы у расхождения был понятный ответственный. Если срок истёк во время работы, сохраните затронутый сегмент и примените объявленное правило остановки или перехода перед следующими шагами.

Отдельный учёт резерва

Активная ёмкость обслуживает обычную работу. Резерв - разрешённая альтернатива для определённого отказа. Если в примере указано activeAssignmentsNeeded=4, а отдельно - failoverReserve=2, план содержит 6 мест распределения. Это не доказывает 6 уникальных выходов, 6 исправных маршрутов или разрешение дополнительных одновременных сессий.

Опишите вывод отказавшего назначения до активации резерва. Если старый и новый контексты могут пересекаться при очистке, явно учтите временную занятость. Если политика запрещает пересечение, дождитесь остановки прежней единицы. Не прячьте переходную ёмкость в необъяснимый процент и не называйте каждый настроенный адрес пригодным резервом.

Резерв - не команда повторить запрос. Отказ назначения, отзыв разрешения или перегрузка могут требовать остановки вместо смены маршрута. Ограничения частоты и параллельности остаются общими для разрешённого задания. Управление пулом не должно превращать отказ на уровне аккаунта в поиск другого выхода.

План также должен различать отключённые маршруты и повторно доступные места. Приложение решает, когда отметить место как reusable, исходя из изоляции, завершения очистки и проверенного поведения поставщика. Одного разрыва соединения может быть недостаточно. Запишите проверку освобождения рядом с bindingLifetime; иначе планировщик завысит свободную ёмкость, хотя все адреса подключения останутся достижимыми.

Условия пригодности замены

Адрес, принимающий соединение, не становится заменой для любой нагрузки. Он должен соответствовать протоколу, разрешённому региону, конфигурации аутентификации и сроку привязки. Если сессии нужен стабильный маршрут до конца, неизвестное поведение не удовлетворяет требованию. Ответ поставщика или проверка развёртывания должны разрешить каждое необходимое условие до признания места пригодным.

Сохраняйте конкретные причины: недоступные учётные данные, отказ соединения с прокси, неожиданный выход и ошибка целевого приложения относятся к разным полям. Обзор конфигурации предлагает сетевые варианты, но не сертифицирует исправность поставщика. Можно исключить маршрут по нарушенному условию без выдуманного рейтинга репутации и без объявления несвязанной ошибки сайта доказательством поломки прокси.

Запись для объяснимого повторного запуска

Полезная таблица сохраняет решения, которых нет в списке адресов. Следующие поля задают оригинальную схему планирования, а не API BotBrowser или измеренный результат. Значения принадлежат журналу приложения; секреты должны оставаться в защищённом хранилище развёртывания.

ПолеСохраняемое решение или наблюдение
workloadUnitЗапрос, пакет, сессия или контекст браузера
maxConcurrentBoundUnitsМаксимум единиц с одновременными привязками
sharingPolicyЕдиницы, которым можно делить логическое назначение
bindingLifetimeСобытие начала и условие освобождения
providerExitSemanticsДокументированное постоянное, сменяемое или неизвестное поведение
activeAssignmentsNeededРезультат объявленной группировки
failoverReserveОтдельные разрешённые замены и условие активации
stateResetBoundaryСохранение или замена состояния при смене маршрута
replayRecordИдентификаторы работы/контекста, метка маршрута, наблюдаемый выход, время и сегмент

Наблюдение выхода должно называть принимающий сервис и время. Оно устанавливает, что увидел этот сервис, но не какой маршрут использовался для всех адресатов или протоколов. Повторяйте наблюдения только в разрешённых пределах. Если необходимое условие неизвестно или не выполнено, оставьте единицу без назначения либо остановите её согласно плану; HTTP 200 от приложения не создаёт отсутствующее доказательство маршрутизации.

Для BotBrowser документация назначения по контекстам описывает механизм и лицензионные требования. Географическое согласование прокси описывает настройки браузера. Ни одна страница не предоставляет ёмкость поставщика, гарантированное сохранение IP или распределитель. Сохраните загруженный профиль и ссылку на конфигурацию рядом с таблицей, не выдавая согласованные настройки за доказательство сетевого пути.

Приёмочные проверки плана

Перед разрешённым запуском проверьте решения распределителя по условной политике четырёх сессий. Пятая должна ждать, пока заняты все 4 активные привязки. Открытие третьей страницы в допущенной сессии не должно выделять пятую привязку. После завершения сессии назначение становится повторно доступным только после принятия приложением состояния очистки, изоляции и проверенного поведения поставщика. Это предлагаемые проверки приложения, а не результаты испытаний браузера или поставщика.

Отдельно рассмотрите отсутствие данных. Если выход нужно наблюдать, но наблюдение недоступно, журнал сохраняет этот факт и решение о допуске. Если указаны 2 резерва, но ни один не подходит по региону, пригодного резерва для этой нагрузки нет. RFC 6585 остаётся важным при ответе 429: сохраните ответ и применимое решение об ожидании или остановке, не предполагая, что другое назначение меняет область серверного подсчёта.

Вопросы

Нужен ли отдельный прокси каждому процессу?

Только если политика требует отдельное назначение. Общая работа без состояния и независимые сессии могут иметь разные требования при одинаковом числе процессов.

Означает ли пул из 6 адресов подключения 6 IP?

Не обязательно. Связь определяется шлюзом и политикой поставщика; наблюдаемые разные выходы - самостоятельное условие.

Можно ли использовать свободный резерв для увеличения обычного трафика?

Не автоматически. Активация резерва и разрешённый трафик - разные решения; для замены может потребоваться сначала остановить существующую единицу.

Источники

Практический вывод

Запишите правило совместного использования и срок привязки до покупки или планирования маршрутов. Выведите число активных назначений из одновременно работающих групп, учитывайте замены отдельно и прикрепляйте условия поставщика и наблюдаемые выходы к нужным сегментам. Так получится объяснимый план без смешения адресов подключения, сессий, публичных IP и разрешения целевого сайта.

#Proxy Pool Management#прокси#Browser Context#Capacity

Эта статья входит в руководство: Обзор настройки прокси: карта сетевых решений браузера

Выполните ту же проверку в BotBrowser

Загрузите профиль, сохраните внутри браузера те сигналы, о которых только что прочитали, и подтвердите результат на своей машине до раскатки.