Назад в Центр знаний
Начало работы

Обход сайтов: бюджет и бережная нагрузка

Рассчитайте разрешённый обход с учётом интервалов, параллелизма, пауз и повторов. Отделяйте конечный бюджет запросов от полноты результатов.

BotBrowser Team

Документация

Нужна структурированная документация по теме Начало работы?

Эта статья относится к редакционной библиотеке. Для пошаговой настройки, справки и постоянных обновлений переходите сразу в соответствующий раздел docs.

Ёмкость веб-обхода: объём разрешённой работы, которую робот может попытаться выполнить за заданное окно. Его одновременно ограничивают разрешённый сайтом трафик и устойчивые ресурсы системы сбора. Добавление исполнителей не расширяет разрешение владельца, а начатый запрос не обязательно означает успешно собранную страницу.

BotBrowser документирует общие контексты браузера, ограничения одновременно открытых страниц и контроль памяти для разрешённой автоматизации. Он не предоставляет бюджет обхода сайта, не определяет скрытые ограничения запросов и не превращает частичные результаты в полные. Параметры развёртывания помогают управлять браузерной частью; разрешение, учёт запросов и решение об остановке остаются ответственностью оператора.

TL;DR

  • До расчёта согласуйте источник, временное окно, единицу учёта и предел трафика. Разрешающее правило robots не является авторизацией или численной квотой.
  • Параллелизм измеряет одновременную работу, интервал определяет начало запросов. Оба ограничения действуют на всех исполнителей с общим бюджетом.
  • Расчёт ёмкости задаёт границу допуска, а не число полезных результатов. Колебания задержки, ошибки и ожидание приложения могут его уменьшить.
  • Паузы и повторы расходуют время или выделенные запросы. Сохраняйте оставшиеся URL вместо объявления исчерпанного бюджета завершённым обходом.
  • Учитывайте дополнительные запросы браузера в области, установленной владельцем. Одна навигация может породить несколько запросов.

Содержание

Гипотетический расчёт: из 900 запусков вычитаются 120 во время паузы и 30 для повторов; остаётся не более 750 новых URL, а не 750 успешных страниц.

Два значения бюджета обхода

Google использует бюджет обхода для описания того, сколько Googlebot может и хочет обходить. В рекомендациях для крупных сайтов разделяются предел мощности обхода и спрос на обход. Это объяснение Google Search, включая собственные решения Google о ресурсах и планировании. Оно не задаёт стандартную квоту любого сайта для любого робота и не обещает индексацию загруженной страницы.

Для собственного робота начните с двух разных исходных данных: какой трафик разрешён владельцем и какой объём выдерживает система сбора. Первое может включать пути, часы, интервалы между запросами, параллелизм, объём передачи и запрещённые операции. Второе зависит от времени занятости исполнителей, процессора, памяти, сети и последующей обработки. Оба значения могут меняться; их нельзя прятать в недокументированную константу «безопасная скорость».

Разрешение должно определять область учёта. Допуск может относиться к одному источнику для всех исполнителей проекта, авторизованной учётной записи или конкретному ресурсу API. Раздел 4 RFC 6585 намеренно не определяет, как сервер идентифицирует пользователя и считает запросы при ответе 429. Из одного кода клиент не может вывести универсальную область. Уточните у владельца, какой трафик делит согласованный бюджет.

Правила robots: отдельные исходные данные, а не замена соглашения. RFC 9309 прямо указывает, что эти правила не являются авторизацией доступа. Разрешённый путь сам по себе не разрешает один запрос в секунду, десять одновременных страниц или ночной сбор. Отсутствие 429 тоже не доказывает допустимость или устойчивость текущей частоты.

Бережное поведение имеет конкретный смысл: соблюдать согласованные границы и правила robots, делить допуск между исполнителями и консервативно реагировать на перегрузку или отзыв разрешения. Незаметное распределение той же работы между дополнительными идентичностями меняет источник трафика, но не расширяет права. Если владелец отзывает доступ, остановите затронутую работу, а не ищите другой способ продолжить её.

Расчёт конечного бюджета запросов

Рассмотрим гипотетический собственный каталог с известным списком из 900 уникальных HTML URL. Владелец явно разрешает максимум 1 запуск запроса в секунду для всей задачи и не более 2 одновременных запросов. Пусть окно сбора составляет 900 секунд, а локальная занятость одного места запроса составляет 0.5 секунды. Это исходные допущения, не измеренная производительность и не пределы, выведенные из поведения сервера.

В простой оценке устойчивой работы локальная пропускная способность не превышает число мест, делённое на длительность занятости одного места. При 2 местах и 0.5 секунды получается 4 запуска в секунду. Ограничение владельца в 1 запуск в секунду строже. Дополнительные готовые браузерные исполнители не позволяют начинать запросы чаще согласованного.

Вход или расчётГипотетическое значениеСмысл
Известное целевое множество900 уникальных URLЗнаменатель покрытия от владельца
Согласованный интервал1 запрос/сОбщая граница запусков в примере
Предел параллелизма2 запросаМаксимум разрешённых запросов в работе
Локальная занятость места0.5 сДопущение, не измерение
Локальная оценка2 / 0.5 = 4 запроса/сРесурсный потолок при этих допущениях
Ограничивающая частотаmin(1, 4) = 1 запрос/сСоблюдаются обе границы

Оценка помогает найти ограничивающий фактор, но не предсказывает время завершения. Она предполагает постоянно доступную работу и стабильную занятость. Реальное распределение задержек включает медленные ответы, тайм-ауты и затраты соединения. Браузерная задача может занимать страницу при ожидании состояния приложения. Для следующих запусков используйте наблюдения малого разрешённого обхода, отдельно от разрешённой верхней границы.

Точно зададим расписание: один плановый запуск на каждой целой секунде от 0 до 899 в полуоткрытом окне, включающем 0 и исключающем 900. Получаются 900 возможностей запуска. Пакетные всплески запрещены, неиспользованная возможность истекает и не становится кредитом на будущий всплеск. Такое соглашение делает счёт воспроизводимым; для другого разрешённого расписания нужен собственный расчёт.

Даже без перерывов 900 возможностей не гарантируют 900 завершённых страниц к сроку. Последний запрос может закончиться после окна запуска, а часть ответов окажется ошибочной. Уточните, запрещает ли срок новые запуски, требует полного прекращения трафика или позволяет закончить текущие запросы. Если в конце нужна полная тишина, оставьте время на завершение либо отмену выполняющейся работы вместо запуска прямо перед границей.

Разница между частотой и параллелизмом важна при замедлении ответов. При 1 запуске в секунду и занятости 0.5 секунды потолок 2 запросов не мешает расписанию. Если каждый запрос занимает 3 секунды, 2 места его уже не поддержат. Локальная оценка станет 2 / 3 запроса в секунду ещё до других расходов. Планировщик должен пропускать или откладывать запуск без свободного места, а не нарушать параллелизм ради исходного плана.

Учёт пауз, повторов и запросов браузера

Теперь предположим, что тот же гипотетический запуск приостанавливает все отправки от секунды 300 включительно до 420 исключительно. Интервал убирает 120 исходных возможностей. Остаётся максимум 900 минус 120, то есть 780 попыток. Если оператор дополнительно резервирует 30 из них для повторов, новым URL остаётся не более 750 первых попыток. Это распределение бюджета, не результат реально выполненного обхода.

Шаг расчётаОставшиеся возможностиЧего число не доказывает
Исходное расписание по целым секундам900Завершение ответов к сроку
Вычесть 120 запусков на паузе780Успешные страницы каталога
Резервировать 30 повторов750 для новых URLУспешное покрытие 750 уникальных URL
Сравнить с 900 целямиНе менее 150 без первой попытки при таком распределенииИтоговый успех или реальный результат

30 возможностей повтора входят в 780, а не добавляются сверху. Если фактически нужны только 10 повторов, остальные 20 можно отдать новой работе лишь при оставшемся допустимом времени и разрешающей это политике планирования. Жёсткое резервирование сохраняет потолок 750. Укажите выбранную политику; не переключайтесь незаметно между резервом и фактическим расходом повторов при сравнении запусков.

HTTP 429 означает, что сервер считает число запросов клиента за некоторый период чрезмерным. Справка MDN о статусе отмечает возможность заголовка Retry-After. Его наличие не гарантировано. Справка о заголовке описывает неотрицательное целое число секунд или дату HTTP. Сохраняйте полученное значение и время, использованное при его интерпретации.

Если применимый ответ просит повторить позже, затронутая работа не должна запускаться раньше этого времени. Локальная политика может ждать дольше или остановить задачу. Отсутствующий или неверный заголовок не оправдывает немедленный повтор: следуйте соглашению и консервативной ограниченной политике восстановления. Постоянное повышение частоты ради поиска невидимого потолка не является планированием ёмкости. Диагностика частоты и параллелизма рассматривает подробные настройки; для расчёта важнее, что пауза убирает возможности допуска.

Трафик браузера требует отдельного решения об учёте. Навигация может запросить HTML, сценарии, стили, изображения и данные приложения; перенаправления и повторы добавляют запросы. Ограничение исполнителей по страницам не обеспечивает напрямую предел запусков по источнику. Если разрешение покрывает все запросы к нему, соответствующие дополнительные запросы делят ту же квоту. Нельзя заявлять соблюдение правил только потому, что главные навигации разделены интервалом.

Для второго гипотетического расчёта предположим ровно 5 запросов на страницу в согласованной области. Тогда 750 запросов дадут максимум 150 загрузок до ошибок и повторов. Это не универсальное преобразование: кэш, разное число ресурсов и фоновый опрос меняют итог. Другой источник требует собственного решения о разрешении и учёте. Если процесс не может контролировать или надёжно ограничить нужные запросы, согласуйте другой способ получения, а не утверждайте достаточность ограничителя навигаций.

Объяснение частичного обхода

Ограниченный ресурсами обход может быть полезным без полноты. Важны честный знаменатель и сохранённый остаток. Для каталога из 900 URL храните текущее состояние и историю попыток каждого адреса. Разбор этапов робота различает очередь, выполняющуюся, отложенную и завершённую работу. Исчерпание окна: причина остановки, не успешный исход для каждого оставшегося URL.

Разделяйте журнал запросов и журнал URL. Попытка фиксирует отправку и результат; одному URL могут соответствовать несколько попыток. Успешный повтор не означает второй покрытый URL. Неудачная попытка не отменяет неразрешённость адреса. Если перенаправление расходует дополнительный запрос по соглашению, учтите трафик, не выдавая его за ещё один собранный элемент каталога.

Предлагаемое состояние URLЗначение на момент остановкиПоследствие для отчёта
Не запускалсяПервая попытка не допущенаНе покрыт в известном множестве
ОтложенОжидает разрешённого времени или условияОстаток работы, не успех
ВыполняетсяПопытка ещё не имеет записанного исходаЗавершение неизвестно
Окончательная ошибкаВосстановление закончилось без полезного содержимогоНе покрыт при этой политике
Полезный результатОтвет соответствует требованиям содержимогоПокрыт по объявленному критерию

Это предложенная модель приложения, не терминология HTTP. До запуска определите полезность результата. HTTP 200 может означать экран входа, оболочку ошибки или страницу без каталога. Загруженный ответ может не пройти разбор; разобранной странице может недоставать полей для последующего извлечения. Отчёт должен задавать собственный критерий успеха, а не смешивать эти этапы.

Число 750 ограничивает запуски новых URL при заявленных допущениях. Наблюдаемого числителя успешных страниц оно не даёт. Корректный прогноз: «не менее 150 из 900 известных URL не получат первую попытку при этом фиксированном распределении». Это не означает «робот собрал 83 процента». Реальное покрытие требует записанных полезных результатов; сроки и ресурсы могут оставить без запуска больше 150 URL.

Обход через обнаружение имеет дополнительное ограничение: полное множество URL может быть неизвестно. Тогда сообщайте покрытие допущенного или предоставленного владельцем множества и способ его получения. Пустая немедленная очередь не доказывает отсутствия необнаруженных страниц. Большое число запросов не заменяет недостающий знаменатель. Сохраняйте начальные адреса, область, исключения и ограничения обнаружения, чтобы объяснить изменения следующего запуска.

Планирование и запись первого разрешённого запуска

Начните с ограниченной выборки, одобренной владельцем, включающей важные типы страниц. Отделите разрешённый объём запросов от локального числа исполнителей. Записывайте занятость, число порождённых запросов и память, не объявляя малую выборку постоянной ёмкостью сайта. Тихое окно с кэшированной страницей может сильно отличаться от последующего запуска с некэшированными данными приложения.

Документация производительности BotBrowser описывает несколько BrowserContexts в одном браузере, закрытие ненужных страниц, ограничение одновременных страниц и мониторинг памяти. Эти средства управляют ресурсами, когда разрешённому сбору нужен браузер. Они не реализуют соглашение сайта о запросах за робота. Независимые контексты всё ещё могут создавать трафик против общего допуска источника, а увеличение их числа усиливает нагрузку на этот допуск.

Используйте наблюдения для консервативной оценки занятости и конечного объёма работы. Если ресурсы не поддерживают разрешённую частоту, уменьшите план допуска либо согласуйте более длинное окно. Если строже ограничение сайта, оставьте часть локальных ресурсов свободной. Оба исхода нормальны. Оптимизация загрузки вторична относительно разрешения и сохранения корректных результатов.

ЗаписьЗачем нужна
Ссылка на разрешение, источник и путиПодтверждает фактическую разрешённую цель
Область учёта, интервал и параллелизмЗадаёт трафик с общим бюджетом
Соглашение об окне и его окончанииДелает явными допущения о старте и завершении
Паузы и политика резерва повторовОбъясняет вычеты из плана
Попытки, полезные и оставшиеся URLОтделяет расход трафика от покрытия
Причина остановки и условие продолженияДелает продолжение осознанным

Возобновление требует новой проверки допустимости. Перенос очереди на завтра не переносит автоматически вчерашнее разрешение, состояние сайта или окно. Проверьте текущее соглашение, сохраните историю и не собирайте уже полезные URL повторно, если обновление не разрешено задачей. Все исполнители должны получать допуск из общего бюджета, а не применять каждый полное разрешение отдельно.

Вопросы и ответы

Увеличивает ли параллелизм бюджет обхода?

Он может поднять локальный ресурсный потолок, если ограничивает занятость. Он не увеличивает допуск владельца, не отменяет интервалы и не гарантирует полезные ответы. Используйте меньшую применимую границу и учитывайте всех исполнителей вместе.

Задаёт ли robots.txt частоту для всех роботов?

RFC 9309 не определяет универсальный допуск частоты и не предоставляет авторизацию. Некоторые инструменты поддерживают дополнительные соглашения, но неподдерживаемая директива или разрешённый путь не дают права на предполагаемый трафик.

Означает ли пауза неудачный обход?

Не обязательно. Плановая или запрошенная сервером пауза может быть правильной реакцией. Сообщайте реальные полезные результаты и отложенный остаток. Возобновляйте лишь при допустимых разрешении, времени и ресурсах.

Источники

Практический вывод

Для конечного разрешённого обхода запишите соглашение владельца, выберите временную конвенцию и рассчитайте предел допуска до выбора числа исполнителей. Вычтите паузы и резерв повторов, затем отдельно покажите успешные URL, попытки и остаток. Гипотетический план из 900 запусков после вычетов оставляет не более 750 новых запусков; он никогда не доказывает 750 полезных страниц. Меньший объяснимый обход с сохранённым остатком служит основой следующего разрешённого запуска.

#Обход Сайтов#Бюджет Обхода#Нагрузка#Планирование Ресурсов

Эта статья входит в руководство: Начало работы с автоматизацией браузера: карта

Выполните ту же проверку в BotBrowser

Загрузите профиль, сохраните внутри браузера те сигналы, о которых только что прочитали, и подтвердите результат на своей машине до раскатки.