Веб-скрейпинг с Browserbase: кто за что отвечает?
Отделите статусы сеансов Browserbase, сохранённые Context, маршруты сети и сохраняемые материалы от результатов и обязанностей приложения сбора.
BotBrowser Team
Нужна структурированная документация по теме Начало работы?
Эта статья относится к редакционной библиотеке. Для пошаговой настройки, справки и постоянных обновлений переходите сразу в соответствующий раздел docs.
Веб-скрейпинг с Browserbase переносит выполнение браузера к провайдеру, но приложение по-прежнему может отвечать за навигацию, извлечение и проверку записей. Существенные изменения касаются завершения сеансов, сохранённого состояния, размещения сетевых ресурсов и сохраняемых материалов. BotBrowser документирует управление браузером на основе движка и профилей, а также настройку прокси для выбранного слоя выполнения; он не может настраивать хранилище провайдера Browserbase или его удалённую среду выполнения и гарантировать разрешение сайта на сбор. Полезная граница определяется тем, какая сторона управляет каждой настройкой и какие доказательства устанавливают завершение запрошенной работы. Проверка возвращённого артефакта - отдельный вопрос от выбора размещённого жизненного цикла; см. что подтверждает ответ API для скрейпинга.
Кратко
- Сеанс Browserbase со статусом
COMPLETEDне доказывает завершение задания сбора. Такой статус может возникнуть после сбоя клиента с последующим отключением. - По умолчанию сеансы начинаются с чистых пользовательских данных. Сохранённый Context, политика записи в него и действительность аутентификации приложения требуют отдельных решений.
- Неактивность соединения, тайм-аут сеанса и предельное время задания отсчитываются независимо.
keepAliveпозволяет переподключаться в пределах оставшегося времени жизни сеанса. - Регион браузера и выход прокси являются разными сетевыми свойствами. География прокси обеспечивается по возможности, а не гарантирует границу определённой страны.
- Настройки журналирования и записи не удаляют все материалы. Context, передачи файлов, эксплуатационные метаданные и обработка третьими сторонами требуют отдельного рассмотрения.
Содержание
- Статус сеанса не является результатом приложения
- Сохранённые Context имеют отдельный жизненный цикл
- Неактивность соединения не равна предельному времени задания
- Регион браузера не определяет выход прокси
- Настройки записи не охватывают все материалы
- Собственный тестовый сценарий разделяет ответственность
- Практический вывод
Статус сеанса не является результатом приложения
Документация Browserbase по управлению сеансами описывает переход сеанса из PENDING в RUNNING, а затем в COMPLETED, TIMED_OUT или ERROR. Конечные статусы не меняются. Они описывают сеанс провайдера, а не наличие требуемой бизнес-записи, полученной парсером. Клиент может получить другой документ, отклонить неполную запись или завершиться с ошибкой до записи вывода, тогда как сам браузер завершится нормально. Поэтому приложению нужно собственное состояние результата рядом со статусом провайдера, а не вывод об успехе из метки на панели.
Различие особенно важно для COMPLETED. Browserbase говорит, что отключение клиента без поддержания сеанса завершает сеанс нормально, в том числе когда его скрипт аварийно завершается и отключается. Освобождение сеанса, завершение Function или прекращение сеанса до его запуска также могут давать COMPLETED. Даже сеанс с поддержанием активности, достигший своего тайм-аута, получает этот статус по документированным правилам. Метка определяет путь завершения; она не подтверждает окончание извлечения, выполнение очистки программой или существование запрошенного документа.
У ERROR более узкая атрибуция: Browserbase не смог запустить сеанс либо внутренняя ошибка завершила его. Исключение автоматизации не создаёт этот статус на стороне провайдера. Поэтому запись инцидента должна отдельно сохранять исключение клиента и последний проверенный этап приложения. Без различия команда может классифицировать неудачный клиентский запуск как исправную инфраструктуру и случайно посчитать его полезным результатом. И наоборот, ошибка проверки приложения сама по себе не устанавливает внутренний сбой Browserbase.
Сравнение браузерных интерфейсов отличает дальнейшее управление браузером от получения готового результата. После выбора размещённого интерфейса управления вызывающая сторона всё равно должна определить итоговый документ, проверить обязательные поля и зафиксировать сохранение вывода. Browserbase обслуживает удалённый сеанс; это не передаёт ему молча обязанности приложения. Полезная запись завершения связывает идентификатор сеанса с исходом клиента и основанием проверки, не копируя чувствительное содержимое страниц в общие эксплуатационные журналы.
Сохранённые Context имеют отдельный жизненный цикл
Документация Context Browserbase говорит, что каждый сеанс по умолчанию начинается с чистого каталога пользовательских данных. Повторное использование состояния приложения требует явно выбранного Context, а не возникает вследствие переподключения к тому же аккаунту провайдера. У Context отдельная идентичность ресурса. Поэтому отсутствие настройки в новом сеансе отличается от неудачного восстановления выбранного Context. Прежде чем диагностировать потерю состояния, установите, должен ли сеанс быть чистым, использовать сохранённое состояние или обновлять его.
Context может сохранять cookie, localStorage, IndexedDB, сеансовое хранилище, служебные рабочие процессы, сохранённые данные форм и настройки браузера из каталога пользовательских данных Chromium. Browserbase отличает этот набор от HTTP-кеша браузера: обычные ресурсы страницы загружаются заново, хотя сохранённые служебные рабочие процессы и их кеши могут влиять на последующую загрузку. Различия важны, когда владелец ожидает и запомненную настройку, и одинаковое поведение ресурсов. «Сохранённое состояние браузера» не обещает одинаковый жизненный цикл всех механизмов хранения или получение каждого последующего ответа из сети.
Условие записи задаётся как persist: true. Browserbase говорит, что изменения сохраняются при закрытии сеанса, и рекомендует клиентам подождать несколько секунд перед повторным использованием Context для завершения синхронизации. Поэтому запись, извлечённая до закрытия, и Context, готовый к следующему сеансу, являются разными этапами. Приложению не следует считать успешное извлечение доказательством того, что последнее изменение настройки уже стало устойчивым состоянием провайдера. Рекомендация ожидания задаёт порядок действий, а не точную гарантию задержки синхронизации.
persist: false предотвращает сохранение изменений обратно в Context. Это не делает целевое приложение доступным только для чтения. Сеанс всё ещё может выполнить разрешённое действие приложения, серверный эффект которого сохранится, хотя локальные изменения браузера будут отброшены. Различие важно для проектирования теста и проверки: политика записи Context провайдера управляет одним местом хранения, а не всеми последствиями активности браузера. Действительно не изменяющему приложение тестовому сценарию нужны ограничения на уровне приложения вместе с подходящим выбором сохранения.
Согласно документации, Context существуют бессрочно, но сохранённая аутентификация может стать недействительной. Cookie приложения могут истечь, пароли могут измениться, токены могут быть отозваны, а сайт может аннулировать сеансы удалённо. Browserbase приводит 30 дней как пример истечения cookie приложения, а не универсального времени жизни Context. Явное удаление Context, удаление проекта и изменения аккаунта также влияют на возможность использования. Поэтому устаревшему входу нужна диагностика состояния приложения, а не предположение, что долговечное хранилище провайдера гарантирует долговечную авторизацию.
Неактивность соединения не равна предельному времени задания
Справочник управления указывает тайм-аут неактивности CDP WebSocket после 10 минут без данных в обоих направлениях. Учитываются команды клиента, но также и доставляемые ему события CDP. Поэтому клиент, не отправляющий команды, может оставаться подключённым дольше 10 минут, пока события продолжают приходить. «Мой код бездействовал» и «соединение не передавало данные» являются разными наблюдениями. Ни одно само по себе не сообщает оператору, продвигалось ли приложение полезным образом или лишь получало несвязанную активность страницы.
Тайм-аут сеанса является другой границей. Browserbase описывает значение по умолчанию для проекта и переопределение конкретного сеанса, выбираемое при создании. Без поддержания сеанса достижение его тайм-аута даёт TIMED_OUT. Документированный путь тайм-аута с поддержанием сеанса вместо этого даёт COMPLETED. Сравнение меток без конфигурации сеанса может скрыть одно и то же событие исчерпания времени. Записи интеграции нужны фактический тайм-аут и настройка поддержания сеанса, если команда намерена различать раннее отключение, естественное завершение и исчерпание разрешённого времени жизни.
keepAlive: true означает, что отключённый сеанс остаётся доступным для переподключения до тайм-аута или освобождения. Это само по себе не продлевает тайм-аут, не обновляет вход в приложение и не устанавливает безопасность продолжения бизнес-транзакции вызывающей стороной. Переподключившаяся программа может обнаружить состояние страницы, отличное от последнего записанного. Приложение должно определить, известно ли о завершении последней операции, прежде чем повторять её. Доступность удалённого браузера не является подтверждением транзакции от собственного приложения.
Предельное время задания принадлежит клиенту или планировщику. Оно может истечь, пока браузер остаётся доступным, либо сеанс провайдера может завершиться раньше выделенного клиенту времени задания. Фиксируйте события независимо и определите ответственного за освобождение оставшихся ресурсов. Обсуждение ёмкости контекстов браузера касается единиц нагрузки и ответственности за ресурсы; размещённые сеансы продолжают занимать ёмкость, пока живы. Отключённый контроллер не доказывает освобождение удалённого ресурса, особенно при намеренно включённом поддержании сеанса.
Такое разделение улучшает и классификацию повторов. Прерывание соединения, исчерпание тайм-аута сеанса и предельное время приложения могут требовать разных решений о восстановлении. Планировщику не следует обозначать все три как пустое извлечение и начинать одинаковую заменяющую работу. Документация управления сеансами определяет отсчёт провайдера, а приложение определяет продвижение и завершение. Переподключение должно сохранять различие, а не считать продолжающийся доступ к браузеру доказательством актуальности первоначальной задачи.
Регион браузера не определяет выход прокси
Документация регионов Browserbase перечисляет us-west-2, us-east-1, eu-central-1 и ap-southeast-1, с us-west-2 по умолчанию. Настройка region выбирает место выполнения браузера. Это может влиять на соединение контроллера с удалённым браузером, но не определяет IP-адрес, видимый приложению. Метка региона также недостаточна для установления расположения каждого сохраняемого материала или последующей обработки.
Настройка прокси является отдельной. Справочник прокси говорит, что proxies по умолчанию равен false. Включение встроенного варианта запускает попытку использовать прокси в США по мере доступности; при отсутствии подходящих американских прокси могут использоваться соседние страны, например Канада. Указанная география прокси также обеспечивается по возможности: при недоступности запрошенного местоположения используется ближайший прокси. Владелец не может превратить эти условия в гарантированный выход определённой страны, просто записав запрошенную настройку.
Для собственного тестового приложения, чувствительного к местоположению, сохраняйте запрошенный регион, запрошенный маршрут и сведения соединения, наблюдаемые приложением, как отдельные поля. Наблюдение устанавливает полученное этим приложением в том запуске, а не географию всех запросов или хранения. Browserbase также документирует правила маршрутизации для отдельных доменов, поэтому маршрут одного запроса не обязательно описывает все назначения. Если размещение данных или последующая обработка являются договорным требованием, регион браузера и наблюдение геолокации не заменяют применимое соглашение провайдера.
Документация настройки прокси BotBrowser описывает управление маршрутизацией и географическую конфигурацию на основе выхода для собственного слоя выполнения браузера. Его обзор браузера описывает управление раскрываемыми браузером свойствами на основе профилей. Это возможности продукта, а не настройки удалённой среды Browserbase. Сравнение размещённой и собственной эксплуатации рассматривает эксплуатационный выбор; ни сравнение, ни общая библиотека автоматизации не устанавливают возможность BotBrowser заменить исполняемый файл внутри сеанса Browserbase.
Настройки записи не охватывают все материалы
Документация наблюдаемости Browserbase говорит, что сеансы по умолчанию журналируются и записываются. Она описывает события CDP, вывод консоли браузера, сетевую информацию и видеоповтор как диагностические ресурсы. Эти материалы могут раскрывать больше, чем итоговая извлечённая запись. Документированное хранение повторов составляет до 30 дней после завершения для проектов без BYOS и 24 часа для проектов с BYOS. Эти сроки описывают записи сеансов, а не универсальное истечение Context, записей приложения или всех материалов провайдера.
При создании сеанса logSession: false и recordSession: false отключают его журналирование и запись. Оба параметра по умолчанию равны true, а документация говорит, что выбор доступен на каждом тарифе. Отключение любого из них постоянно для этого сеанса: после запуска его нельзя включить обратно. Поэтому наблюдаемость является решением о данных при создании, а не переключателем очистки после записи чувствительного содержимого. Отсутствие повтора также может отражать намеренную конфигурацию, а не сбой браузера.
Предложение уровня аккаунта Enterprise с нулевым сроком хранения данных (ZDR) отличается от доступности отдельных флагов. Документация ZDR ограничивает это предложение тарифами Enterprise, отдельно описывая отказ от записи конкретного сеанса на каждом тарифе. Она говорит, что при охватываемой конфигурации журналы и повтор не сохраняются в хранилище Browserbase. Организации, которой нужно письменное подтверждение ZDR уровня аккаунта, следует получить его через соглашение, а не приравнивать два флага создания ко всем договорным возможностям Enterprise.
ZDR не является полным удалением всех связанных данных. Скачанные и загруженные файлы, Context и расширения являются отдельными типами материалов. Документация описывает сочетание ZDR с BYOS для размещения этих материалов в контролируемом клиентом хранилище S3. Эксплуатационные метаданные, включая идентичность сеанса, время, проект и регион, остаются. Live View продолжает работать во время выполнения браузера, поскольку транслирует сеанс, а не хранит повтор. Данные, отправленные сторонней большой языковой модели, регулируются условиями её поставщика, а не охватываются одним лишь управлением хранилищем Browserbase.
Выбор сокращённой наблюдаемости меняет и обработку инцидентов. Browserbase говорит, что его поддержка не будет иметь журналов и повторов таких сеансов, точки записей могут возвращать 404 Not Found, а API журналов не предоставляет записей. Диагностике приложения нужна намеренно ограниченная замена, например исход проверки и отметка этапа, а не неразборчивое дублирование чувствительного содержимого. Настройка провайдера сокращает указанное хранение; клиент всё ещё отвечает за свои экспорты, локальную телеметрию и инициированную последующую обработку.
Собственный тестовый сценарий разделяет ответственность
Рассмотрим гипотетическое собственное тестовое приложение каталога с безвредной настройкой отображения и записью, содержащей идентификатор товара, цену и валюту. Это сценарий приёмки, а не отчёт о тестировании Browserbase. Условие успеха приложения состоит в проверенной записи из этого приложения. Отдельное условие состояния проверяет, начинается ли настройка с чистого значения или возвращается из выбранного Context. Отдельное сетевое условие фиксирует маршрут, наблюдаемый собственным сервером. Ни одно не зависит от трактовки COMPLETED как бизнес-результата.
| Гипотетический симптом | Первое различие | Необходимые доказательства |
|---|---|---|
Сеанс имеет COMPLETED, но корректной записи нет | Завершение у провайдера и исход клиента | Исключение клиента, этап проверки и фиксация вывода |
| Изменённая настройка отсутствует в следующий раз | Выбор Context, политика записи и синхронизация | Выбранный Context, значение persist и порядок закрытия |
| Сохранённое состояние открывает страницу без входа | Долговечный Context и действительная аутентификация приложения | Действительность сеанса приложения и правила отзыва |
| Удалённое соединение исчезает | Неактивность CDP и предельное время сеанса или задания | Активность соединения, фактический тайм-аут и событие планировщика |
| Наблюдаемая страна отличается от запрошенного региона | Размещение браузера и выход прокси | Запрошенный маршрут и наблюдение собственного сервера |
| Повтор недоступен | Намеренная конфигурация хранения и сбой записи | Настройки создания и применимый контракт наблюдаемости |
Условие приёмки сохранения должно называть закрытие и документированное ожидание синхронизации. Запуск с persist: true нельзя считать готовым к повторному использованию лишь потому, что клиент выдал итоговую запись. Сравнение с persist: false касается сохранения изменений обратно, а не возможности изменения сервера тестового приложения. Безвредная настройка позволяет владельцу изучить различия без импорта несвязанного состояния просмотра и без обращения с производственной аутентификацией как с одноразовым тестовым материалом.
Фиксируйте только необходимое решению: исход проверки клиента, статус провайдера, выбранную политику Context, фактические ограничения времени и наблюдение маршрута тестовым приложением. Добавьте выбранную политику записи, чтобы отсутствие повтора имело объяснение. Контракты управления сеансами и ZDR придают этим записям разный смысл. Будущий успешно пройденный сценарий установил бы совместимость этой конфигурации; он не установил бы разрешение сайта, анонимную работу или обещание для посторонних сайтов.
Вопросы
Означает ли COMPLETED, что задание сбора успешно?
Нет. Browserbase документирует пути нормального завершения, включая сбой клиента с последующим отключением. Приложению нужны независимая проверка записей и доказательства завершения вывода.
Делает ли persist: false сеанс доступным только для чтения?
Он предотвращает сохранение изменений в выбранный Context. Он не мешает действиям браузера изменять серверное состояние целевого приложения.
Сохраняет ли поддержание сеанса вход в приложение?
Оно сохраняет возможность переподключения в пределах оставшегося времени жизни сеанса. Аутентификация всё ещё может истечь или быть отозвана приложением независимо от доступности браузера.
Выбирает ли регион браузера страну прокси?
Нет. Регион браузера и маршрутизация прокси являются отдельными настройками. Browserbase документирует географию прокси по мере доступности, включая возможную маршрутизацию через соседнюю страну, а не гарантированную страну выхода.
Удаляет ли отключение записи все данные у провайдера?
Нет. Журналирование, повтор, Context, загруженные и скачанные файлы, расширения и эксплуатационные метаданные имеют разные области. Обработка сторонней большой языковой моделью также остаётся за пределами управления хранилищем Browserbase.
Источники
- Browserbase: управление сеансом браузера
- Browserbase: Context
- Browserbase: регионы браузеров
- Browserbase: прокси
- Browserbase: наблюдаемость
- Browserbase: нулевое хранение данных
- BotBrowser: обзор браузера
- BotBrowser: настройка прокси
Практический вывод
Назначьте отдельных ответственных за результат клиента, сеанс провайдера, жизненный цикл Context, сетевой маршрут и сохраняемые материалы. Прежде чем внедрять размещённый процесс, проверьте эти границы разрешённым собственным тестовым сценарием и применимыми условиями провайдера. Конфигурация браузера может управлять документированными поверхностями; она не заменяет проверку приложения, решения о хранилище провайдера или разрешение собирать данные.
Эта статья входит в руководство: Начало работы с автоматизацией браузера: карта
Похожие статьи
Браузер для веб-скрейпинга: какой вариант нужен?
ОтпечаткиAPI веб-скрейпинга: что остаётся за рамками ответа
Начало работыСбор данных с Playwright: браузер и профиль
Начало работыИнтеграция браузерного профиля с Selenium
ОтпечаткиRebrowser Proxy: маршруты, профили и приватность
Начало работыСбор данных Selenium: capabilities и записи
Выполните ту же проверку в BotBrowser
Загрузите профиль, сохраните внутри браузера те сигналы, о которых только что прочитали, и подтвердите результат на своей машине до раскатки.