Автоматизация браузера в Docker: руководство по развёртыванию и масштабированию

Введение

Docker обеспечивает воспроизводимость, изоляцию и примитивы масштабирования, необходимые для продакшен-развёртываний BotBrowser. Каждый контейнер стартует из известного состояния, работает независимо от других контейнеров и может быть реплицирован на любой инфраструктуре, поддерживающей Docker. Больше никаких проблем «у меня на машине работает».

Это руководство покрывает полный рабочий процесс развёртывания Docker: сборку образов, управление профилями и скриптами через монтирование томов, настройку разделяемой памяти, масштабирование с Docker Compose и укрепление для продакшена. Будь вы запускаете единственный контейнер локально или оркестрируете десятки воркеров в облаке, описанные здесь паттерны применимы.

Почему развёртывание в Docker важно

BotBrowser зависит от конкретных системных библиотек, виртуального сервера отображения и тщательной настройки окружения. На голом железе каждый новый сервер требует одинаковой ручной подготовки: установки зависимостей, настройки Xvfb, установки переменных окружения и проверки установки. Docker упаковывает всё это в единый образ, который разворачивается идентично повсюду.

Docker также обеспечивает изоляцию процессов. Каждый контейнер запускает свой экземпляр BotBrowser с собственной файловой системой, сетевым пространством имён и ресурсными ограничениями. Утечка памяти в одном контейнере не затрагивает другие. Упавший воркер может быть автоматически перезапущен политикой перезапуска Docker без вмешательства человека.

Для команд, запускающих множество экземпляров BotBrowser с разными профилями и прокси, Docker Compose или платформы оркестрации контейнеров позволяют легко определять, масштабировать и управлять всем парком из одного конфигурационного файла.

Техническая справка

Chrome и разделяемая память

Chrome интенсивно использует /dev/shm (разделяемую память) для межпроцессного взаимодействия между процессом браузера, GPU-процессом и процессами рендерера. Выделение /dev/shm в Docker по умолчанию составляет 64 МБ, что слишком мало. Chrome будет падать или вести себя непредсказуемо без минимум 1-2 ГБ разделяемой памяти.

Решение простое: добавьте --shm-size=2g к вашей команде docker run или задайте shm_size: '2g' в файле Docker Compose.

Сервер отображения в контейнерах

Как и на голом железе, BotBrowser в Docker нуждается в Xvfb для инициализации дисплея. Контейнер должен запустить Xvfb перед запуском Chrome, и переменная окружения DISPLAY должна быть установлена.

Директории пользовательских данных

Каждому экземпляру BotBrowser нужна своя --user-data-dir. В Docker эта директория по умолчанию живёт внутри контейнера и теряется при его остановке. Для сохранения сессий монтируйте том хоста для сохранения состояния браузера между перезапусками контейнера.

Соображения по размеру образа

Docker-образ BotBrowser со всеми зависимостями обычно занимает 500-800 МБ. Использование многоэтапных сборок или минимизация списка пакетов может уменьшить размер. Компромисс в том, что каждая недостающая библиотека - потенциальная ошибка во время выполнения.

<svg viewBox="0 0 700 280" xmlns="http://www.w3.org/2000/svg" style={{maxWidth: '100%', height: 'auto'}}> Docker Container Xvfb :10 Virtual Display BotBrowser Chrome + Profile Node.js Automation Script /dev/shm 2 GB Shared Mem Volume: /opt/profiles (host mounted) Volume: /data/sessions (persistent)

Распространённые подходы и ограничения

Единый монолитный контейнер

Запуск всего в одном контейнере (Xvfb, BotBrowser, скрипт автоматизации и мониторинг) - простейший подход, но ограничивает масштабируемость. Вы не можете масштабировать скрипт автоматизации независимо от браузера, и проблема в любом компоненте приводит к остановке всего контейнера.

Контейнер на каждый браузер

Запуск одного контейнера на экземпляр BotBrowser обеспечивает лучшую изоляцию. Каждый контейнер имеет свой профиль, прокси и директорию пользовательских данных. Накладные расходы выше (каждый контейнер включает полный набор системных библиотек), но изоляция упрощает отладку и масштабирование.

Паттерн sidecar

Некоторые развёртывания используют контейнер-sidecar с Xvfb, который разделяется между несколькими контейнерами браузера. Это снижает использование ресурсов, но добавляет сетевую сложность и создаёт единую точку отказа.

Сборка на основе базовых образов Chromium

Использование официальных Docker-образов Google для Chromium в качестве базы может упростить настройку, но эти образы могут не включать все библиотеки, необходимые BotBrowser. Сборка на основе Ubuntu обеспечивает больше контроля над списком зависимостей.

Подход BotBrowser

Кроссплатформенная система профилей BotBrowser особенно хорошо подходит для развёртывания в Docker. Один и тот же профиль даёт один и тот же отпечаток независимо от базового образа контейнера, версии ядра или хост-машины. Это устраняет распространённый источник несогласованности в контейнеризированных браузерных развёртываниях.

Рекомендуемая здесь стратегия контейнеризации использует Ubuntu 22.04 в качестве базы, устанавливает все необходимые зависимости, копирует бинарник BotBrowser и профили в образ и запускает Xvfb перед скриптом автоматизации. Этот подход протестирован, надёжен и даёт согласованные результаты у разных облачных провайдеров.

Настройка и использование

Базовый Dockerfile

FROM ubuntu:22.04

# Install system dependencies
RUN apt-get update && apt-get install -y \
    wget ca-certificates fonts-liberation \
    libasound2 libatk-bridge2.0-0 libatk1.0-0 \
    libcups2 libdbus-1-3 libdrm2 libgbm1 \
    libgtk-3-0 libnspr4 libnss3 \
    libxcomposite1 libxdamage1 libxrandr2 \
    xdg-utils xvfb curl \
    && rm -rf /var/lib/apt/lists/*

# Install Node.js
RUN curl -fsSL https://deb.nodesource.com/setup_20.x | bash - \
    && apt-get install -y nodejs \
    && rm -rf /var/lib/apt/lists/*

# Set display environment
ENV DISPLAY=:10.0

# Copy BotBrowser binary
COPY botbrowser/ /opt/botbrowser/
RUN chmod +x /opt/botbrowser/chrome

# Copy profiles
COPY profiles/ /opt/profiles/

# Copy automation scripts
WORKDIR /opt/app
COPY package.json package-lock.json ./
RUN npm ci --production
COPY scripts/ ./scripts/

# Health check
HEALTHCHECK --interval=30s --timeout=10s --retries=3 \
  CMD pgrep -x Xvfb && pgrep -f "chrome" || exit 1

# Start Xvfb and run the automation script
CMD Xvfb :10 -screen 0 1920x1080x24 -ac & \
    sleep 1 && \
    node scripts/main.js

Сборка и запуск

docker build -t botbrowser-worker .
docker run --rm --shm-size=2g botbrowser-worker

Флаг --shm-size=2g обязателен. Без него Chrome падает или ведёт себя непредсказуемо из-за недостаточной разделяемой памяти.

Скрипт автоматизации

// scripts/main.js
const { chromium } = require('playwright-core');

const PROFILE = process.env.PROFILE || '/opt/profiles/profile.enc';
const PROXY = process.env.PROXY || '';

async function main() {
  const args = [
    '--disable-setuid-sandbox',
    `--bot-profile=${PROFILE}`,
  ];

  if (PROXY) {
    args.push(`--proxy-server=${PROXY}`);
  }

  const browser = await chromium.launch({
    executablePath: '/opt/botbrowser/chrome',
    args: args,
    headless: true,
  });

  try {
    const context = await browser.newContext();
    const page = await context.newPage();
    await page.goto('https://example.com');
    console.log('Title:', await page.title());

    // Your automation logic here

  } finally {
    await browser.close();
  }
}

// Handle graceful shutdown
process.on('SIGTERM', async () => {
  console.log('Received SIGTERM, shutting down...');
  process.exit(0);
});

process.on('SIGINT', async () => {
  console.log('Received SIGINT, shutting down...');
  process.exit(0);
});

main().catch(console.error);

Docker Compose для нескольких воркеров

version: '3.8'

services:
  worker-us:
    build: .
    shm_size: '2g'
    environment:
      - PROFILE=/opt/profiles/windows-chrome-131.enc
      - PROXY=socks5://user:pass@us-proxy.example.com:1080
    volumes:
      - ./profiles:/opt/profiles:ro
      - session-us:/data/session
    deploy:
      resources:
        limits:
          memory: 4g
          cpus: '2'
    restart: unless-stopped

  worker-eu:
    build: .
    shm_size: '2g'
    environment:
      - PROFILE=/opt/profiles/windows-chrome-132.enc
      - PROXY=socks5://user:pass@eu-proxy.example.com:1080
    volumes:
      - ./profiles:/opt/profiles:ro
      - session-eu:/data/session
    deploy:
      resources:
        limits:
          memory: 4g
          cpus: '2'
    restart: unless-stopped

volumes:
  session-us:
  session-eu:

Запуск парка:

docker compose up -d
docker compose logs -f

Масштабирование конкретного воркера:

docker compose up -d --scale worker-us=3

Монтирование томов

Монтируйте профили как тома только для чтения, чтобы обновлять их без пересборки образа:

docker run --rm --shm-size=2g \
  -v /host/profiles:/opt/profiles:ro \
  -v /host/sessions/worker-1:/data/session \
  -e PROFILE=/opt/profiles/profile.enc \
  -e PROXY=socks5://user:pass@proxy:1080 \
  botbrowser-worker

Переменные окружения

Используйте переменные окружения для настройки каждого контейнера:

Переменная	Описание	Пример
PROFILE	Путь к файлу профиля внутри контейнера	/opt/profiles/win-chrome-131.enc
PROXY	URL прокси с учётными данными	socks5://user:pass@proxy:1080
DISPLAY	X display (задаётся в Dockerfile)	:10.0

Скрипт точки входа

Для более сложной логики запуска используйте скрипт точки входа:

#!/bin/bash
# entrypoint.sh

# Start Xvfb
Xvfb :10 -screen 0 1920x1080x24 -ac &
XVFB_PID=$!

# Wait for Xvfb to be ready
for i in $(seq 1 10); do
  if xdpyinfo -display :10 > /dev/null 2>&1; then
    break
  fi
  sleep 0.5
done

# Run the main script
exec node /opt/app/scripts/main.js

Обновите Dockerfile:

COPY entrypoint.sh /opt/app/
RUN chmod +x /opt/app/entrypoint.sh
ENTRYPOINT ["/opt/app/entrypoint.sh"]

Проверка

Проверьте вашу Docker-настройку:

# Build the image
docker build -t botbrowser-worker .

# Run with interactive shell for debugging
docker run --rm --shm-size=2g -it botbrowser-worker bash

# Inside the container:
Xvfb :10 -screen 0 1920x1080x24 &
export DISPLAY=:10.0
/opt/botbrowser/chrome --version
ldd /opt/botbrowser/chrome | grep "not found"

Строк «not found» быть не должно. Запустите тестовую навигацию:

docker run --rm --shm-size=2g botbrowser-worker

Проверьте вывод на наличие ожидаемого заголовка страницы и отсутствие сообщений об ошибках.

Лучшие практики

Всегда задавайте --shm-size=2g или больше. Это самая распространённая проблема Docker + Chrome. По умолчанию 64 МБ недостаточно.

Используйте --disable-setuid-sandbox в контейнерах. Docker-контейнеры обычно работают без возможностей ядра, необходимых песочнице Chrome.

Монтируйте профили как тома только для чтения. Это отделяет обновление профилей от сборки образов и предотвращает случайную модификацию.

Задавайте ресурсные ограничения. Используйте флаги Docker --memory и --cpus, чтобы предотвратить потребление всех ресурсов хоста одним контейнером.

Обрабатывайте SIGTERM для корректного завершения. Docker отправляет SIGTERM при остановке контейнеров. Ваш скрипт должен закрыть браузер и освободить ресурсы.

Используйте .dockerignore. Исключите node_modules, .git и файлы локальной разработки из контекста сборки для уменьшения размера образа и времени сборки.

Тегируйте образы номерами версий. Используйте botbrowser-worker:1.2.0 вместо :latest для воспроизводимых развёртываний.

Часто задаваемые вопросы

Почему Chrome падает с «out of memory» в Docker?

Наиболее частая причина - недостаточный размер /dev/shm. Добавьте --shm-size=2g к вашей команде docker run. Если сам контейнер ограничен по памяти, увеличьте лимит памяти с помощью --memory=4g.

Можно ли использовать Alpine Linux вместо Ubuntu?

Зависимости Chrome основаны на glibc. Alpine использует musl libc, который несовместим. Используйте образы на базе Debian или Ubuntu.

Как обновить профили без пересборки образа?

Монтируйте директорию профилей как том: -v /host/profiles:/opt/profiles:ro. Обновляйте файлы на хосте и перезапускайте контейнер.

Можно ли открыть порт удалённой отладки?

Да. Используйте -p 9222:9222 и добавьте --remote-debugging-port=9222 к флагам запуска Chrome. Будьте осторожны с этим в продакшене, так как порт отладки предоставляет полный контроль над браузером.

Как просматривать логи контейнера?

Используйте docker logs <container-id> или docker compose logs <service-name>. Вывод console.log вашего скрипта появляется здесь.

Какой базовый образ использовать?

Ubuntu 22.04 LTS - наиболее протестированный и надёжный выбор. Ubuntu 24.04 работает с корректировкой имён пакетов. Debian 12 (Bookworm) также является хорошим вариантом.

Можно ли запустить несколько экземпляров BotBrowser в одном контейнере?

Да, но отдельные контейнеры обеспечивают лучшую изоляцию и управление ресурсами. Если вы всё же запускаете несколько экземпляров в одном контейнере, убедитесь, что каждый имеет свой --user-data-dir и --remote-debugging-port.

Как обрабатывать зомби-процессы Chrome?

Добавьте --init к вашей команде docker run для использования init-процесса Docker, который очищает осиротевшие дочерние процессы. Альтернативно используйте dumb-init или tini в вашем Dockerfile.

Итоги

Docker предоставляет наиболее надёжный и повторяемый способ развёртывания BotBrowser в продакшене. Соберите образ один раз со всеми зависимостями, используйте монтирование томов для профилей и постоянных данных, и масштабируйте с помощью Docker Compose или инструментов оркестрации. Ключевое требование к конфигурации - достаточный объём разделяемой памяти (--shm-size=2g).

Для настройки на голом железе смотрите Настройка headless-сервера. Для оптимизации производительности смотрите Оптимизация производительности BotBrowser. Для справочника CLI-флагов смотрите CLI-рецепты.