Управление пулом прокси по рабочей нагрузке
Рассчитайте назначения прокси по параллельным сессиям и сроку привязки. Разделяйте адреса подключения, наблюдаемые выходы и резерв для замены.
BotBrowser Team
Нужна структурированная документация по теме Сеть?
Эта статья относится к редакционной библиотеке. Для пошаговой настройки, справки и постоянных обновлений переходите сразу в соответствующий раздел docs.
Управление пулом прокси начинается с работы, которой нужно сохранить маршрут, а не со списка адресов. Посчитайте единицы нагрузки, требующие одновременных назначений, определите срок каждой привязки и выясните, что поставщик обещает относительно выходных адресов. Шести рабочим процессам не обязательно нужны шесть IP-адресов, а шесть адресов подключения к прокси не доказывают наличие шести разных выходов.
BotBrowser документирует назначение прокси отдельным контекстам и согласование географических настроек браузера с выходом прокси. Для функции назначения по контекстам необходимы указанная лицензия ENT Tier3 и загруженный профиль. BotBrowser не предоставляет пул, не гарантирует стабильность выходов поставщика и не даёт разрешения на доступ к целевому сайту. Распределение, договорённости с поставщиком и проверка фактического маршрута остаются задачами оператора.
TL;DR
- Определите единицу привязки: запрос, пакет, сессию или контекст браузера. Число рабочих процессов само по себе не определяет размер пула.
- Разделяйте настроенные адреса подключения, логические назначения и наблюдаемые выходные адреса: это разные показатели.
- Рассчитывайте активные назначения по явному правилу совместного использования, а резерв для замены учитывайте отдельно.
- Сохраняйте маршрут на нужный срок; смысл идентификатора закреплённой сессии зависит от документированного поведения поставщика.
- Увеличение пула не расширяет объём трафика, разрешённый целевым сайтом.
Содержание
- Что именно распределяет пул
- Расчёт одновременных назначений
- Срок действия привязки
- Отдельный учёт резерва
- Запись для объяснимого повторного запуска
- Практический вывод
Что именно распределяет пул
Адрес подключения - это настроенный адрес прокси. Назначение - установленная приложением связь между нагрузкой и именованным маршрутом. Наблюдаемый выходной адрес - публичный адрес, который конкретный принимающий сервис увидел в конкретный момент. Соответствие адресов подключения или учётных данных различным выходам определяется условиями поставщика и фактическими наблюдениями. Подсчёт записей конфигурации сам по себе этого соответствия не устанавливает.
Параметр прокси контекста Playwright задаёт конфигурацию для контекста, но не политику распределения поставщика. Сначала решите, является ли единицей привязки один контекст или нескольким разрешённым контекстам можно использовать общий маршрут. Владение маршрутом контекста объясняет применение этого решения; план пула определяет, сколько привязок должно быть доступно до запуска.
В закупках и планировщике сохраняйте три отдельных показателя: список адресов подключения, число одновременных назначений и необходимые условия для наблюдаемых выходов. Список из 100 записей не подтверждает 100 разных выходов без дополнительных доказательств. И наоборот, общая точка подключения может обслуживать несколько назначений без нескольких имён серверов. Уточняйте отдельно одновременные сессии, лимиты соединений, выбор региона и срок сохранения выхода.
Ограничения целевого сайта - отдельные входные данные. Раздел 4 RFC 6585 не определяет способ идентификации пользователя и подсчёта запросов для ответа 429. Лимит может относиться к аккаунту или другой области, заданной сервером. Нельзя предполагать, что дополнительные маршруты меняют эту область. Согласованный бюджет трафика должен оставаться независимым от таблицы распределения.
Расчёт одновременных назначений
Следующие случаи - условные примеры планирования, а не выполненные испытания прокси или рекомендации поставщиков. Каждый результат следует из указанного правила совместного использования. Ни одна строка не обещает уникальный IP, определённую частоту запросов или принятие запросов целевым сайтом.
| Нагрузка и явная политика | Одновременная работа | Нужные активные назначения | Срок привязки |
|---|---|---|---|
| Проверкам без состояния разрешён общий маршрут | 6 процессов | 1 | Один пакет |
| Каждой отдельной сессии нужно своё назначение; её страницы используют общий контекст | 4 сессии, по 3 страницы | 4 | Вся сессия |
| Каждому региональному контексту нужно отдельное назначение | 2 региона, по 3 контекста | 6 | Весь срок контекста |
В первом случае шесть процессов используют одну привязку, поскольку приложение разрешает совместное использование. Это не доказывает достаточную пропускную способность или разрешение шести одновременных запросов. Если согласованный бюджет допускает меньше запусков запросов, планировщик обязан ждать даже при доступном маршруте.
Во втором случае двенадцать страниц принадлежат четырём контекстам сессий. Маршрут на каждую страницу создал бы двенадцать привязок без нового полезного требования. Результат в четыре назначения зависит от общего контекста и маршрута страниц каждой сессии. Если страница относится к другому аккаунту или жизненному циклу, измените исходную группировку, а не переносите прежний результат автоматически.
Региональный пример даёт шесть назначений, потому что политика требует отдельную привязку для каждого контекста. Он не доказывает шесть разных выходов и не гарантирует региональный результат. Требование разных публичных адресов нужно добавить и проверить отдельно. Выбор конфигурации прокси различает уровень запуска, контекста и переключения; сначала выбирают область действия, затем считают.
Для большей нагрузки сгруппируйте одновременно активные единицы по правилу совместного использования и посчитайте нужные привязки внутри групп. Сохраните группировку вместе с итогом. Универсальной формулы перевода запросов в секунду в число прокси нет: разрешённый трафик, разделение сессий, возможности поставщика и ресурсы браузера - разные ограничения.
Пиковое пересечение и очередь
Размер пула определяется пересекающимися во времени единицами, а не всеми задачами за день. Допустим, в примере с четырьмя сессиями ещё 8 ожидают в очереди. По объявленной политике ожидающие сессии не занимают назначения до допуска. Поэтому плану по-прежнему нужны 4 активных назначения, хотя всего в задании 12 сессий. Это верно только при реальном ограничении допуска планировщиком; запись в таблице ничего не обеспечивает автоматически.
Назначение может быть занято без выполняющихся запросов. Сессии, ожидающей ответа приложения, согласованной контрольной точки или локальной обработки, всё ещё может требоваться прежний маршрут. Если привязка действует до завершения сессии, краткий сетевой простой не позволяет передать её другой сессии. Разделяйте допущенные, ожидающие, освобождаемые и повторно доступные единицы. Жизненный цикл контекста задаёт браузерную границу, а запись распределения - решение приложения о допуске.
| Состояние приложения | Последствие для распределения |
|---|---|
queued | До допуска привязки нет |
bound | Назначение занято, включая сетевой простой |
releasing | Очистка или объявленная проверка освобождения ещё не завершена |
reusable | Политика допускает новое назначение |
Для региональной работы сохраняйте промежуточные итоги. Шесть мест в одном регионе не удовлетворяют требованию по 3 места в каждом из 2 регионов. Общий итог может равняться 6 при неверном распределении. Полезная политика очереди ждёт подходящее разрешённое место, а не подставляет произвольный адрес подключения. Допустимые замены должны быть записаны в контракте нагрузки, особенно при сравнении с региональным эталоном.
Срок действия привязки
Привязка может действовать один запрос, пакет, авторизованную сессию, контекст или несколько запусков. Выбирайте минимальный срок, сохраняющий нужное состояние. Пакет региональных снимков может освобождать назначение после сбора; многошаговой сессии может требоваться неизменный маршрут до конца. Это политики приложения, а не свойства, подразумеваемые словом «пул».
Перед покупкой закреплённого маршрута выясните, когда начинается отсчёт, какие события завершают привязку и сохраняет ли переподключение выход. Неизвестные условия так и отмечайте. Неизменная строка адреса прокси не доказывает неизменный выходной IP. Даже документированный срок - обязательство поставщика, соответствующее поведение которого нужно наблюдать в разрешённой среде.
У браузерного хранилища собственный жизненный цикл. Контексты Playwright изолируют состояние; выбор другого прокси не равен удалению cookies и локального хранилища. Решите, делает ли смена маршрута текущую сессию недействительной. Новый контекст - консервативная граница, если контракт требует новую изолированную сессию, но политика восстановления состояния всё равно должна быть явной.
При разрешённой смене маршрута с сохранением контекста начните новый сегмент маршрута и запишите время. Уже выполняющиеся запросы и постоянные соединения усложняют атрибуцию. Материал о границах ротации разбирает эти детали по запросам. Сохраняйте назначение занятым до условия освобождения: изменение настройки не доказывает, что все существующие соединения перешли на новый маршрут.
Повторение входных данных не обещает тот же выход
Воспроизводимый план распределения и повторение публичного IP - разные требования. Следующий запуск может сохранить группировку, региональную политику, ссылку на профиль и продукт поставщика, но получить другой выход. Это может подходить разрешённому сбору без состояния и нарушать контракт сравнения с неизменным сетевым маршрутом. Определите повторяемое свойство до выбора поставщика или сохранения состояния браузера.
Неизвестный срок выхода остаётся нерешённым входным условием: не придумывайте длительность. Приложение может не допускать работу, требующую отсутствующей гарантии. Географическое согласование BotBrowser касается настроек, связанных с обнаруженным выходом; оно не превращает неизвестный срок в стабильный сетевой контракт. Храните условие поставщика отдельно от наблюдения, чтобы у расхождения был понятный ответственный. Если срок истёк во время работы, сохраните затронутый сегмент и примените объявленное правило остановки или перехода перед следующими шагами.
Отдельный учёт резерва
Активная ёмкость обслуживает обычную работу. Резерв - разрешённая альтернатива для определённого отказа. Если в примере указано activeAssignmentsNeeded=4, а отдельно - failoverReserve=2, план содержит 6 мест распределения. Это не доказывает 6 уникальных выходов, 6 исправных маршрутов или разрешение дополнительных одновременных сессий.
Опишите вывод отказавшего назначения до активации резерва. Если старый и новый контексты могут пересекаться при очистке, явно учтите временную занятость. Если политика запрещает пересечение, дождитесь остановки прежней единицы. Не прячьте переходную ёмкость в необъяснимый процент и не называйте каждый настроенный адрес пригодным резервом.
Резерв - не команда повторить запрос. Отказ назначения, отзыв разрешения или перегрузка могут требовать остановки вместо смены маршрута. Ограничения частоты и параллельности остаются общими для разрешённого задания. Управление пулом не должно превращать отказ на уровне аккаунта в поиск другого выхода.
План также должен различать отключённые маршруты и повторно доступные места. Приложение решает, когда отметить место как reusable, исходя из изоляции, завершения очистки и проверенного поведения поставщика. Одного разрыва соединения может быть недостаточно. Запишите проверку освобождения рядом с bindingLifetime; иначе планировщик завысит свободную ёмкость, хотя все адреса подключения останутся достижимыми.
Условия пригодности замены
Адрес, принимающий соединение, не становится заменой для любой нагрузки. Он должен соответствовать протоколу, разрешённому региону, конфигурации аутентификации и сроку привязки. Если сессии нужен стабильный маршрут до конца, неизвестное поведение не удовлетворяет требованию. Ответ поставщика или проверка развёртывания должны разрешить каждое необходимое условие до признания места пригодным.
Сохраняйте конкретные причины: недоступные учётные данные, отказ соединения с прокси, неожиданный выход и ошибка целевого приложения относятся к разным полям. Обзор конфигурации предлагает сетевые варианты, но не сертифицирует исправность поставщика. Можно исключить маршрут по нарушенному условию без выдуманного рейтинга репутации и без объявления несвязанной ошибки сайта доказательством поломки прокси.
Запись для объяснимого повторного запуска
Полезная таблица сохраняет решения, которых нет в списке адресов. Следующие поля задают оригинальную схему планирования, а не API BotBrowser или измеренный результат. Значения принадлежат журналу приложения; секреты должны оставаться в защищённом хранилище развёртывания.
| Поле | Сохраняемое решение или наблюдение |
|---|---|
workloadUnit | Запрос, пакет, сессия или контекст браузера |
maxConcurrentBoundUnits | Максимум единиц с одновременными привязками |
sharingPolicy | Единицы, которым можно делить логическое назначение |
bindingLifetime | Событие начала и условие освобождения |
providerExitSemantics | Документированное постоянное, сменяемое или неизвестное поведение |
activeAssignmentsNeeded | Результат объявленной группировки |
failoverReserve | Отдельные разрешённые замены и условие активации |
stateResetBoundary | Сохранение или замена состояния при смене маршрута |
replayRecord | Идентификаторы работы/контекста, метка маршрута, наблюдаемый выход, время и сегмент |
Наблюдение выхода должно называть принимающий сервис и время. Оно устанавливает, что увидел этот сервис, но не какой маршрут использовался для всех адресатов или протоколов. Повторяйте наблюдения только в разрешённых пределах. Если необходимое условие неизвестно или не выполнено, оставьте единицу без назначения либо остановите её согласно плану; HTTP 200 от приложения не создаёт отсутствующее доказательство маршрутизации.
Для BotBrowser документация назначения по контекстам описывает механизм и лицензионные требования. Географическое согласование прокси описывает настройки браузера. Ни одна страница не предоставляет ёмкость поставщика, гарантированное сохранение IP или распределитель. Сохраните загруженный профиль и ссылку на конфигурацию рядом с таблицей, не выдавая согласованные настройки за доказательство сетевого пути.
Приёмочные проверки плана
Перед разрешённым запуском проверьте решения распределителя по условной политике четырёх сессий. Пятая должна ждать, пока заняты все 4 активные привязки. Открытие третьей страницы в допущенной сессии не должно выделять пятую привязку. После завершения сессии назначение становится повторно доступным только после принятия приложением состояния очистки, изоляции и проверенного поведения поставщика. Это предлагаемые проверки приложения, а не результаты испытаний браузера или поставщика.
Отдельно рассмотрите отсутствие данных. Если выход нужно наблюдать, но наблюдение недоступно, журнал сохраняет этот факт и решение о допуске. Если указаны 2 резерва, но ни один не подходит по региону, пригодного резерва для этой нагрузки нет. RFC 6585 остаётся важным при ответе 429: сохраните ответ и применимое решение об ожидании или остановке, не предполагая, что другое назначение меняет область серверного подсчёта.
Вопросы
Нужен ли отдельный прокси каждому процессу?
Только если политика требует отдельное назначение. Общая работа без состояния и независимые сессии могут иметь разные требования при одинаковом числе процессов.
Означает ли пул из 6 адресов подключения 6 IP?
Не обязательно. Связь определяется шлюзом и политикой поставщика; наблюдаемые разные выходы - самостоятельное условие.
Можно ли использовать свободный резерв для увеличения обычного трафика?
Не автоматически. Активация резерва и разрешённый трафик - разные решения; для замены может потребоваться сначала остановить существующую единицу.
Источники
- Параметр proxy метода Browser.newContext в Playwright
- Контексты браузера Playwright
- RFC 6585: 429 Too Many Requests
- Назначение прокси по контекстам BotBrowser
- Географическое согласование прокси BotBrowser
Практический вывод
Запишите правило совместного использования и срок привязки до покупки или планирования маршрутов. Выведите число активных назначений из одновременно работающих групп, учитывайте замены отдельно и прикрепляйте условия поставщика и наблюдаемые выходы к нужным сегментам. Так получится объяснимый план без смешения адресов подключения, сессий, публичных IP и разрешения целевого сайта.
Эта статья входит в руководство: Обзор настройки прокси: карта сетевых решений браузера
Похожие статьи
Прокси на контекст: владение маршрутом для раздельной работы
СетьРотация прокси: границы сессии при сборе данных
СетьПроверка исходящего IP прокси в BotBrowser Launcher
СетьОбзор настройки прокси: карта сетевых решений браузера
СетьПереключение прокси и непрерывность для пользователя
СетьНастройка прокси браузера: руководство по SOCKS5, HTTP и HTTPS
Выполните ту же проверку в BotBrowser
Загрузите профиль, сохраните внутри браузера те сигналы, о которых только что прочитали, и подтвердите результат на своей машине до раскатки.