Обход сайтов: бюджет и бережная нагрузка
Рассчитайте разрешённый обход с учётом интервалов, параллелизма, пауз и повторов. Отделяйте конечный бюджет запросов от полноты результатов.
BotBrowser Team
Нужна структурированная документация по теме Начало работы?
Эта статья относится к редакционной библиотеке. Для пошаговой настройки, справки и постоянных обновлений переходите сразу в соответствующий раздел docs.
Ёмкость веб-обхода: объём разрешённой работы, которую робот может попытаться выполнить за заданное окно. Его одновременно ограничивают разрешённый сайтом трафик и устойчивые ресурсы системы сбора. Добавление исполнителей не расширяет разрешение владельца, а начатый запрос не обязательно означает успешно собранную страницу.
BotBrowser документирует общие контексты браузера, ограничения одновременно открытых страниц и контроль памяти для разрешённой автоматизации. Он не предоставляет бюджет обхода сайта, не определяет скрытые ограничения запросов и не превращает частичные результаты в полные. Параметры развёртывания помогают управлять браузерной частью; разрешение, учёт запросов и решение об остановке остаются ответственностью оператора.
TL;DR
- До расчёта согласуйте источник, временное окно, единицу учёта и предел трафика. Разрешающее правило robots не является авторизацией или численной квотой.
- Параллелизм измеряет одновременную работу, интервал определяет начало запросов. Оба ограничения действуют на всех исполнителей с общим бюджетом.
- Расчёт ёмкости задаёт границу допуска, а не число полезных результатов. Колебания задержки, ошибки и ожидание приложения могут его уменьшить.
- Паузы и повторы расходуют время или выделенные запросы. Сохраняйте оставшиеся URL вместо объявления исчерпанного бюджета завершённым обходом.
- Учитывайте дополнительные запросы браузера в области, установленной владельцем. Одна навигация может породить несколько запросов.
Содержание
- Два значения бюджета обхода
- Расчёт конечного бюджета запросов
- Учёт пауз, повторов и запросов браузера
- Объяснение частичного обхода
- Планирование и запись первого разрешённого запуска
- Практический вывод
Два значения бюджета обхода
Google использует бюджет обхода для описания того, сколько Googlebot может и хочет обходить. В рекомендациях для крупных сайтов разделяются предел мощности обхода и спрос на обход. Это объяснение Google Search, включая собственные решения Google о ресурсах и планировании. Оно не задаёт стандартную квоту любого сайта для любого робота и не обещает индексацию загруженной страницы.
Для собственного робота начните с двух разных исходных данных: какой трафик разрешён владельцем и какой объём выдерживает система сбора. Первое может включать пути, часы, интервалы между запросами, параллелизм, объём передачи и запрещённые операции. Второе зависит от времени занятости исполнителей, процессора, памяти, сети и последующей обработки. Оба значения могут меняться; их нельзя прятать в недокументированную константу «безопасная скорость».
Разрешение должно определять область учёта. Допуск может относиться к одному источнику для всех исполнителей проекта, авторизованной учётной записи или конкретному ресурсу API. Раздел 4 RFC 6585 намеренно не определяет, как сервер идентифицирует пользователя и считает запросы при ответе 429. Из одного кода клиент не может вывести универсальную область. Уточните у владельца, какой трафик делит согласованный бюджет.
Правила robots: отдельные исходные данные, а не замена соглашения. RFC 9309 прямо указывает, что эти правила не являются авторизацией доступа. Разрешённый путь сам по себе не разрешает один запрос в секунду, десять одновременных страниц или ночной сбор. Отсутствие 429 тоже не доказывает допустимость или устойчивость текущей частоты.
Бережное поведение имеет конкретный смысл: соблюдать согласованные границы и правила robots, делить допуск между исполнителями и консервативно реагировать на перегрузку или отзыв разрешения. Незаметное распределение той же работы между дополнительными идентичностями меняет источник трафика, но не расширяет права. Если владелец отзывает доступ, остановите затронутую работу, а не ищите другой способ продолжить её.
Расчёт конечного бюджета запросов
Рассмотрим гипотетический собственный каталог с известным списком из 900 уникальных HTML URL. Владелец явно разрешает максимум 1 запуск запроса в секунду для всей задачи и не более 2 одновременных запросов. Пусть окно сбора составляет 900 секунд, а локальная занятость одного места запроса составляет 0.5 секунды. Это исходные допущения, не измеренная производительность и не пределы, выведенные из поведения сервера.
В простой оценке устойчивой работы локальная пропускная способность не превышает число мест, делённое на длительность занятости одного места. При 2 местах и 0.5 секунды получается 4 запуска в секунду. Ограничение владельца в 1 запуск в секунду строже. Дополнительные готовые браузерные исполнители не позволяют начинать запросы чаще согласованного.
| Вход или расчёт | Гипотетическое значение | Смысл |
|---|---|---|
| Известное целевое множество | 900 уникальных URL | Знаменатель покрытия от владельца |
| Согласованный интервал | 1 запрос/с | Общая граница запусков в примере |
| Предел параллелизма | 2 запроса | Максимум разрешённых запросов в работе |
| Локальная занятость места | 0.5 с | Допущение, не измерение |
| Локальная оценка | 2 / 0.5 = 4 запроса/с | Ресурсный потолок при этих допущениях |
| Ограничивающая частота | min(1, 4) = 1 запрос/с | Соблюдаются обе границы |
Оценка помогает найти ограничивающий фактор, но не предсказывает время завершения. Она предполагает постоянно доступную работу и стабильную занятость. Реальное распределение задержек включает медленные ответы, тайм-ауты и затраты соединения. Браузерная задача может занимать страницу при ожидании состояния приложения. Для следующих запусков используйте наблюдения малого разрешённого обхода, отдельно от разрешённой верхней границы.
Точно зададим расписание: один плановый запуск на каждой целой секунде от 0 до 899 в полуоткрытом окне, включающем 0 и исключающем 900. Получаются 900 возможностей запуска. Пакетные всплески запрещены, неиспользованная возможность истекает и не становится кредитом на будущий всплеск. Такое соглашение делает счёт воспроизводимым; для другого разрешённого расписания нужен собственный расчёт.
Даже без перерывов 900 возможностей не гарантируют 900 завершённых страниц к сроку. Последний запрос может закончиться после окна запуска, а часть ответов окажется ошибочной. Уточните, запрещает ли срок новые запуски, требует полного прекращения трафика или позволяет закончить текущие запросы. Если в конце нужна полная тишина, оставьте время на завершение либо отмену выполняющейся работы вместо запуска прямо перед границей.
Разница между частотой и параллелизмом важна при замедлении ответов. При 1 запуске в секунду и занятости 0.5 секунды потолок 2 запросов не мешает расписанию. Если каждый запрос занимает 3 секунды, 2 места его уже не поддержат. Локальная оценка станет 2 / 3 запроса в секунду ещё до других расходов. Планировщик должен пропускать или откладывать запуск без свободного места, а не нарушать параллелизм ради исходного плана.
Учёт пауз, повторов и запросов браузера
Теперь предположим, что тот же гипотетический запуск приостанавливает все отправки от секунды 300 включительно до 420 исключительно. Интервал убирает 120 исходных возможностей. Остаётся максимум 900 минус 120, то есть 780 попыток. Если оператор дополнительно резервирует 30 из них для повторов, новым URL остаётся не более 750 первых попыток. Это распределение бюджета, не результат реально выполненного обхода.
| Шаг расчёта | Оставшиеся возможности | Чего число не доказывает |
|---|---|---|
| Исходное расписание по целым секундам | 900 | Завершение ответов к сроку |
| Вычесть 120 запусков на паузе | 780 | Успешные страницы каталога |
| Резервировать 30 повторов | 750 для новых URL | Успешное покрытие 750 уникальных URL |
| Сравнить с 900 целями | Не менее 150 без первой попытки при таком распределении | Итоговый успех или реальный результат |
30 возможностей повтора входят в 780, а не добавляются сверху. Если фактически нужны только 10 повторов, остальные 20 можно отдать новой работе лишь при оставшемся допустимом времени и разрешающей это политике планирования. Жёсткое резервирование сохраняет потолок 750. Укажите выбранную политику; не переключайтесь незаметно между резервом и фактическим расходом повторов при сравнении запусков.
HTTP 429 означает, что сервер считает число запросов клиента за некоторый период чрезмерным. Справка MDN о статусе отмечает возможность заголовка Retry-After. Его наличие не гарантировано. Справка о заголовке описывает неотрицательное целое число секунд или дату HTTP. Сохраняйте полученное значение и время, использованное при его интерпретации.
Если применимый ответ просит повторить позже, затронутая работа не должна запускаться раньше этого времени. Локальная политика может ждать дольше или остановить задачу. Отсутствующий или неверный заголовок не оправдывает немедленный повтор: следуйте соглашению и консервативной ограниченной политике восстановления. Постоянное повышение частоты ради поиска невидимого потолка не является планированием ёмкости. Диагностика частоты и параллелизма рассматривает подробные настройки; для расчёта важнее, что пауза убирает возможности допуска.
Трафик браузера требует отдельного решения об учёте. Навигация может запросить HTML, сценарии, стили, изображения и данные приложения; перенаправления и повторы добавляют запросы. Ограничение исполнителей по страницам не обеспечивает напрямую предел запусков по источнику. Если разрешение покрывает все запросы к нему, соответствующие дополнительные запросы делят ту же квоту. Нельзя заявлять соблюдение правил только потому, что главные навигации разделены интервалом.
Для второго гипотетического расчёта предположим ровно 5 запросов на страницу в согласованной области. Тогда 750 запросов дадут максимум 150 загрузок до ошибок и повторов. Это не универсальное преобразование: кэш, разное число ресурсов и фоновый опрос меняют итог. Другой источник требует собственного решения о разрешении и учёте. Если процесс не может контролировать или надёжно ограничить нужные запросы, согласуйте другой способ получения, а не утверждайте достаточность ограничителя навигаций.
Объяснение частичного обхода
Ограниченный ресурсами обход может быть полезным без полноты. Важны честный знаменатель и сохранённый остаток. Для каталога из 900 URL храните текущее состояние и историю попыток каждого адреса. Разбор этапов робота различает очередь, выполняющуюся, отложенную и завершённую работу. Исчерпание окна: причина остановки, не успешный исход для каждого оставшегося URL.
Разделяйте журнал запросов и журнал URL. Попытка фиксирует отправку и результат; одному URL могут соответствовать несколько попыток. Успешный повтор не означает второй покрытый URL. Неудачная попытка не отменяет неразрешённость адреса. Если перенаправление расходует дополнительный запрос по соглашению, учтите трафик, не выдавая его за ещё один собранный элемент каталога.
| Предлагаемое состояние URL | Значение на момент остановки | Последствие для отчёта |
|---|---|---|
| Не запускался | Первая попытка не допущена | Не покрыт в известном множестве |
| Отложен | Ожидает разрешённого времени или условия | Остаток работы, не успех |
| Выполняется | Попытка ещё не имеет записанного исхода | Завершение неизвестно |
| Окончательная ошибка | Восстановление закончилось без полезного содержимого | Не покрыт при этой политике |
| Полезный результат | Ответ соответствует требованиям содержимого | Покрыт по объявленному критерию |
Это предложенная модель приложения, не терминология HTTP. До запуска определите полезность результата. HTTP 200 может означать экран входа, оболочку ошибки или страницу без каталога. Загруженный ответ может не пройти разбор; разобранной странице может недоставать полей для последующего извлечения. Отчёт должен задавать собственный критерий успеха, а не смешивать эти этапы.
Число 750 ограничивает запуски новых URL при заявленных допущениях. Наблюдаемого числителя успешных страниц оно не даёт. Корректный прогноз: «не менее 150 из 900 известных URL не получат первую попытку при этом фиксированном распределении». Это не означает «робот собрал 83 процента». Реальное покрытие требует записанных полезных результатов; сроки и ресурсы могут оставить без запуска больше 150 URL.
Обход через обнаружение имеет дополнительное ограничение: полное множество URL может быть неизвестно. Тогда сообщайте покрытие допущенного или предоставленного владельцем множества и способ его получения. Пустая немедленная очередь не доказывает отсутствия необнаруженных страниц. Большое число запросов не заменяет недостающий знаменатель. Сохраняйте начальные адреса, область, исключения и ограничения обнаружения, чтобы объяснить изменения следующего запуска.
Планирование и запись первого разрешённого запуска
Начните с ограниченной выборки, одобренной владельцем, включающей важные типы страниц. Отделите разрешённый объём запросов от локального числа исполнителей. Записывайте занятость, число порождённых запросов и память, не объявляя малую выборку постоянной ёмкостью сайта. Тихое окно с кэшированной страницей может сильно отличаться от последующего запуска с некэшированными данными приложения.
Документация производительности BotBrowser описывает несколько BrowserContexts в одном браузере, закрытие ненужных страниц, ограничение одновременных страниц и мониторинг памяти. Эти средства управляют ресурсами, когда разрешённому сбору нужен браузер. Они не реализуют соглашение сайта о запросах за робота. Независимые контексты всё ещё могут создавать трафик против общего допуска источника, а увеличение их числа усиливает нагрузку на этот допуск.
Используйте наблюдения для консервативной оценки занятости и конечного объёма работы. Если ресурсы не поддерживают разрешённую частоту, уменьшите план допуска либо согласуйте более длинное окно. Если строже ограничение сайта, оставьте часть локальных ресурсов свободной. Оба исхода нормальны. Оптимизация загрузки вторична относительно разрешения и сохранения корректных результатов.
| Запись | Зачем нужна |
|---|---|
| Ссылка на разрешение, источник и пути | Подтверждает фактическую разрешённую цель |
| Область учёта, интервал и параллелизм | Задаёт трафик с общим бюджетом |
| Соглашение об окне и его окончании | Делает явными допущения о старте и завершении |
| Паузы и политика резерва повторов | Объясняет вычеты из плана |
| Попытки, полезные и оставшиеся URL | Отделяет расход трафика от покрытия |
| Причина остановки и условие продолжения | Делает продолжение осознанным |
Возобновление требует новой проверки допустимости. Перенос очереди на завтра не переносит автоматически вчерашнее разрешение, состояние сайта или окно. Проверьте текущее соглашение, сохраните историю и не собирайте уже полезные URL повторно, если обновление не разрешено задачей. Все исполнители должны получать допуск из общего бюджета, а не применять каждый полное разрешение отдельно.
Вопросы и ответы
Увеличивает ли параллелизм бюджет обхода?
Он может поднять локальный ресурсный потолок, если ограничивает занятость. Он не увеличивает допуск владельца, не отменяет интервалы и не гарантирует полезные ответы. Используйте меньшую применимую границу и учитывайте всех исполнителей вместе.
Задаёт ли robots.txt частоту для всех роботов?
RFC 9309 не определяет универсальный допуск частоты и не предоставляет авторизацию. Некоторые инструменты поддерживают дополнительные соглашения, но неподдерживаемая директива или разрешённый путь не дают права на предполагаемый трафик.
Означает ли пауза неудачный обход?
Не обязательно. Плановая или запрошенная сервером пауза может быть правильной реакцией. Сообщайте реальные полезные результаты и отложенный остаток. Возобновляйте лишь при допустимых разрешении, времени и ресурсах.
Источники
- Google Search Central: бюджет обхода крупных сайтов
- MDN: 429 Too Many Requests
- MDN: Retry-After
- RFC 6585: дополнительные коды HTTP
- RFC 9309: протокол исключения роботов
- BotBrowser: оптимизация производительности
- BotBrowser: ответственное использование
Практический вывод
Для конечного разрешённого обхода запишите соглашение владельца, выберите временную конвенцию и рассчитайте предел допуска до выбора числа исполнителей. Вычтите паузы и резерв повторов, затем отдельно покажите успешные URL, попытки и остаток. Гипотетический план из 900 запусков после вычетов оставляет не более 750 новых запусков; он никогда не доказывает 750 полезных страниц. Меньший объяснимый обход с сохранённым остатком служит основой следующего разрешённого запуска.
Эта статья входит в руководство: Начало работы с автоматизацией браузера: карта
Похожие статьи
Как работает веб-сканер: пять этапов обхода
Начало работыWeb crawler vs web scraper: результаты и ошибки
СетьЛимиты скрейпинга: 429, Retry-After и параллелизм
РазвертываниеПарсинг robots.txt: правила, запреты и ошибки загрузки
Начало работыБраузер для веб-скрейпинга: шесть критериев
СетьУправление пулом прокси по рабочей нагрузке
Выполните ту же проверку в BotBrowser
Загрузите профиль, сохраните внутри браузера те сигналы, о которых только что прочитали, и подтвердите результат на своей машине до раскатки.