Ética del scraping más allá de robots.txt
Cuatro decisiones éticas que un equipo de datos puede probar sin abogado: carga, minimización, atribución y efecto sobre la fuente.
BotBrowser Team
Quieres la documentación estructurada de Primeros pasos?
Este artículo forma parte de la biblioteca editorial. Para pasos de configuración, material de referencia y actualizaciones continuas, entra en la sección de docs.
Una comprobación de robots.txt puede pasar mientras una recopilación sigue tomando de un servicio más de lo que su propietario aceptaría. BotBrowser documenta la automatización de navegador para trabajo autorizado y exige operar en sistemas propios o con permiso escrito de prueba; no decide si una recopilación es justa con la fuente ni toma una decisión ética por el equipo.
TL;DR
- Aquí ética significa cuatro decisiones que un equipo puede probar sin abogado: cuánta carga, cuántos datos como mínimo, cuánto crédito y qué efecto tiene la recopilación sobre la fuente.
- Una regla de robots es una instrucción de coordinación. No responde ninguna de las cuatro preguntas.
- Cada prueba necesita una señal observable y un responsable nombrado, o se convierte en un eslogan que nadie aplica.
- Las preguntas legales y contractuales quedan en el registro de decisiones previo, separado.
- Escribe las cuatro respuestas antes de la primera solicitud y revísalas cuando cambien el trabajo o la fuente.
Contenido
- Cuatro pruebas, no cuatro principios
- Carga: lo que la fuente tiene que servir
- Minimización: el conjunto de campos más pequeño
- Atribución: hacer visible la fuente
- Efecto sobre la fuente: la prueba que se omite
- Conclusión práctica
Cuatro pruebas, no cuatro principios
Una página de ética que enumera valores es fácil de aceptar y difícil de usar. Un equipo necesita una prueba que pueda ejecutar, un resultado que pueda registrar y un responsable que pueda detener el trabajo. Las cuatro siguientes siguen el orden en que un trabajo toca la fuente: primero la solicitud, luego los datos, luego el uso de esos datos y luego el efecto sobre el servicio.
| Prueba | Pregunta | Señal observable | Responsable |
|---|---|---|---|
| Carga | ¿Toma el trabajo más capacidad de la que la fuente puede ceder? | Solicitudes por segundo, tasa de error, reintentos, cuota publicada | Ingeniería |
| Minimización | ¿Se usa cada campo recopilado? | Lista de campos frente al informe o modelo que los consume | Responsable de datos |
| Atribución | ¿Puede un lector rastrear los datos hasta su fuente? | Nombre, URL y fecha de obtención en la salida | Producto |
| Efecto en la fuente | ¿Cambia el trabajo lo que ven otros usuarios o su coste? | Latencia, tasa de error o disponibilidad durante la ventana | Operaciones |
Las pruebas son deliberadamente estrechas. No deciden la legalidad ni sustituyen la revisión de términos, que permanece en el registro de scraping legal y términos. Responden a otra pregunta: dado que el equipo puede recopilar, ¿esta recopilación es considerada con el servicio y con las personas detrás de él? Un equipo puede fallar una prueba y seguir dentro de sus derechos legales, y puede pasar las cuatro y aún tener una pregunta legal. Mantener las dos conversaciones separadas es lo que hace útil a cualquiera de ellas. El registro de decisiones de robots.txt muestra por qué la regla es una entrada separada y no una respuesta ética.
Carga: lo que la fuente tiene que servir
La carga es la prueba más fácil de hacer observable y la más fácil de ignorar. Un trabajo que reintenta con agresividad durante un incidente añade exactamente la carga que la fuente no puede ceder. La prueba no es «¿nos mantuvimos por debajo de un número?», sino «¿el comportamiento de la fuente durante nuestra ventana se mantuvo en el rango que mostró cuando no estábamos ejecutando?».
Mide tres cosas durante la ventana y compáralas con una línea base tranquila: la tasa de solicitudes del trabajo, la tasa de error de la fuente y el tiempo que esperan otras solicitudes. Si la tasa del trabajo está dentro de la cuota publicada y la tasa de error y la latencia de la fuente no se mueven, la prueba de carga pasa. Si la tasa de error sube o la latencia crece mientras corre el trabajo, el trabajo es parte de la causa hasta que se demuestre lo contrario, y la respuesta ética es ir más despacio en lugar de reintentar con más fuerza.
window=02:00-04:00 UTC
job_rate=1.0 req/s
source_error_rate_baseline=two tenths of a percent
source_error_rate_window=three tenths of a percent
source_p95_baseline=210 milliseconds
source_p95_window=225 milliseconds
retry_budget=3 per URL
result=pass (within noise, no retry storm)
Las cifras anteriores son un ejemplo de la forma del registro, no una medición de ningún sitio. La regla de decisión importa más que los valores: un movimiento pequeño dentro de la variación normal no es un fallo, y un movimiento grande con una hora de inicio clara no queda excusado por una tasa media baja. Una tormenta de reintentos aparece como un recuento de reintentos que sube con un recuento de solicitudes plano, y por eso el presupuesto de reintentos pertenece al mismo registro.
La ética de carga también cubre la ventana. Un trabajo que corre en la hora más ocupada de la fuente quita capacidad a usuarios reales incluso a una tasa modesta. Una ventana tranquila, menos concurrencia y una parada dura cuando la fuente señala presión forman parte de la misma decisión. El artículo sobre límites de tasa y concurrencia cubre la mecánica; esta prueba decide cuándo la mecánica es considerada.
Minimización: el conjunto de campos más pequeño
La minimización hace una pregunta directa sobre cada campo: ¿quién lo usa y qué pasa si falta? Un campo que ningún informe, modelo o caso de soporte consume es una responsabilidad sin beneficio. Cuesta almacenamiento, amplía la superficie de privacidad y hace que el conjunto de datos sea más difícil de justificar después.
Haz la prueba como comparación, no como reunión de revisión. Toma la lista de campos del trabajo de recopilación y la lista de campos del consumidor, y marca cada campo como usado, previsto o no usado. Un campo marcado como previsto durante más de un ciclo de revisión está efectivamente sin usar; o aparece un consumidor o el campo sale del trabajo. La prueba pasa cuando cada campo recopilado tiene un consumidor nombrado y una razón declarada.
collected=sku,list_price,currency,observed_at,seller_name,review_text
consumed=sku,list_price,currency,observed_at
unused=seller_name,review_text
decision=drop seller_name and review_text from the collection
next_review=2027-02-01
El ejemplo elimina dos campos que un informe de precios no necesita. Un campo de texto de reseña puede ser tentador porque es visible en la página, pero la visibilidad no es un caso de uso. Si una función posterior lo necesita, el equipo puede añadirlo con una nueva decisión, una nueva regla de retención y una nueva comprobación de privacidad. Recogerlo ahora «por si acaso» invierte ese orden y convierte una decisión fácil en un proyecto de limpieza.
La minimización también se aplica a la precisión. Una marca de tiempo completa, una URL completa con parámetros o una cadena de dispositivo exacta pueden ser más de lo que el consumidor necesita. Una categoría gruesa, una fecha en lugar de una hora con segundos o un valor normalizado pueden responder la misma pregunta con menos exposición. La prueba consiste en preguntar al consumidor si el valor más grueso cambia la decisión; si no la cambia, recoge el valor más grueso.
Atribución: hacer visible la fuente
La atribución es la prueba que más afecta a quienes leen la salida. Un conjunto de datos que no puede rastrearse hasta su fuente es difícil de verificar, difícil de corregir y fácil de tergiversar. La prueba es simple: elige una fila al azar e intenta encontrar la página de origen y la fecha de obtención solo con la salida. Si eso tarda más de un minuto o depende de la memoria de alguien, la prueba falla.
Guarda el nombre de la fuente, la URL de la página y la fecha de obtención con cada registro, y llévalos al informe o modelo que consume los datos. Para una página pública, un enlace suele bastar. Para una página tras una cuenta autorizada, registra el contexto de la cuenta y el permiso que permitió el acceso, no la credencial. El objetivo es la trazabilidad, no la exposición de material privado.
record=price-4412
source_name=shop.example.test
source_url=https://shop.example.test/item/4412
retrieved_at=2026-11-13T02:14:07Z
method=rendered page, authorized test account
La atribución tiene una segunda mitad: no presentes los datos recopilados como una declaración de la fuente. Un precio extraído de una página es una observación en un momento, no un feed oficial, y un informe que lo presenta como autoritativo engaña al lector aunque el número sea correcto. Etiqueta la observación, la hora y el método, y deja que el lector juzgue. El pipeline de recopilación de datos muestra cómo mantener separados los registros brutos y normalizados para que un repost o una tarjeta ausente no se convierta en un hecho inventado.
Efecto sobre la fuente: la prueba que se omite
La cuarta prueba pregunta qué hace la recopilación al servicio. Un trabajo puede mantenerse dentro de un límite de tasa y aun así cambiar la experiencia de otros usuarios si corre en hora punta, mantiene sesiones largas o activa repetidamente una ruta de página costosa. La prueba consiste en comparar el comportamiento de la fuente con y sin el trabajo, a la misma hora del día, y buscar una diferencia que un usuario notaría.
Elige un conjunto pequeño de señales: latencia de página, p95, tasa de error y si una página conocida sigue devolviendo HTTP 200 y renderizando correctamente. Ejecuta la comparación en una ventana tranquila y otra vez en la ventana que el trabajo usa realmente. Si la ventana del trabajo muestra una diferencia consistente, el trabajo tiene efecto; reduce la concurrencia, mueve la ventana o detente. Una diferencia que aparece solo cuando corre el trabajo es la señal que la prueba busca, y no se responde señalando un límite de tasa publicado.
La prueba de efecto también cubre el negocio de la fuente, no solo sus servidores. Una recopilación que republica todo el catálogo de una fuente puede reducir la razón para que alguien la visite, aunque las solicitudes sean ligeras. Es un juicio que el equipo debe hacer y registrar: qué parte del valor de la fuente se copia y si la recopilación devuelve algo. Un historial de precios construido con observaciones repetidas añade algo que una sola visita no añade. Una copia literal del catálogo añade poco.
Registra la respuesta con la misma disciplina que las otras tres pruebas. El registro puede ser corto, pero debe nombrar el efecto considerado y la razón por la que el equipo lo acepta o lo rechaza. «Solo pedimos unas pocas páginas» responde a la prueba de carga; no responde a la de efecto.
Registro combinado
Las pruebas solo sirven si un revisor puede leerlas juntas. Mantén un registro por trabajo con cuatro bloques, uno por prueba, y una regla de parada para cada uno. El registro puede vivir junto a la configuración de la recopilación, siempre que esté versionado y tenga fecha de revisión. Un registro que solo vive en un hilo de chat no es un registro.
| Bloque | Campos | Regla de parada |
|---|---|---|
| Carga | ventana, tasa, error base, error en ventana, reintentos | Detener si el error en ventana supera la base por el margen fijado de antemano |
| Minimización | recogidos, consumidos, sin usar, próxima revisión | Detener si un campo sin uso no tiene consumidor tras un ciclo de revisión |
| Atribución | nombre, URL, fecha de obtención, método | Detener si una fila de muestra no puede rastrearse hasta su fuente |
| Efecto en la fuente | señales, resultado en calma, resultado en ventana, razón | Detener si la ventana muestra una diferencia consistente que un usuario notaría |
La regla de parada es la parte que los equipos omiten. Sin un margen acordado de antemano, todo resultado es discutible después, y quien ejecuta el trabajo no tiene una instrucción clara. Escribe la regla cuando el trabajo está tranquilo, no durante un incidente, y hazla lo bastante específica para que dos personas que leen los mismos números lleguen a la misma decisión.
Revisa el registro cuando cambie el trabajo. Un campo nuevo, una fuente nueva, una ventana nueva o más concurrencia pueden invalidar uno de los cuatro resultados. La revisión no es un trámite: es el momento en que el equipo decide si la respuesta anterior sigue valiendo. Si la respuesta no está clara, el valor seguro por defecto es la carga más baja y el conjunto de campos más pequeño hasta que el registro se actualice.
Dos casos de fallo
El primer caso es un trabajo que pasa cada prueba individual y aun así parece incorrecto. Corre a baja tasa, recoge cuatro campos, atribuye cada fila y no muestra un efecto medible en la fuente. Luego alguien nota que esos cuatro campos reproducen exactamente el informe de pago de la fuente, y la recopilación está republicando un producto en lugar de observar un mercado. Ninguna de las cuatro pruebas detecta eso, porque la pregunta es sobre el modelo de negocio de la fuente y no sobre su capacidad. El remedio es una decisión de alcance: recoger una porción más estrecha, añadir análisis que la fuente no ofrece, o detenerse. Registra esa decisión como parte de la prueba de efecto, aunque las señales medibles estuvieran limpias.
El segundo caso es un trabajo que falla la prueba de carga solo durante un incidente ajeno. La fuente se ralentiza por sus propias razones, los reintentos del trabajo añaden presión, y el equipo ve un pico que no causó solo. La respuesta ética sigue siendo retroceder, porque el trabajo ya es parte del problema, y el registro debe decirlo. Culpar al incidente es correcto sobre la causa e irrelevante para la decisión: un trabajo considerado cede cuando la fuente está bajo presión y luego reanuda según un plan, no de inmediato.
Ambos casos comparten un hábito: el equipo escribe lo que observó y lo que decidió, incluida la parte incómoda, en el mismo registro que job_rate y retry_budget. Un registro que solo enumera números que pasan no enseña nada al siguiente equipo.
Preguntas fuera de estas cuatro pruebas
Las cuatro pruebas no deciden si una fuente permite el acceso automatizado, si un campo es dato personal bajo una ley concreta, o si una recopilación es lícita en una jurisdicción. Esas preguntas pertenecen al registro de decisiones previo separado. Mezclarlas en una lista de ética hace que la lista parezca una aprobación legal, que no lo es.
Las pruebas tampoco clasifican fuentes ni herramientas. Una fuente que publica una API generosa y otra que no publica ninguna no son moralmente distintas solo por ese hecho; las obligaciones del equipo dependen de qué recoge y cómo lo usa. Las cuatro pruebas se aplican igual a ambas.
Conclusión práctica
Antes de la primera solicitud, ejecuta las cuatro pruebas y registra el resultado: carga frente a una línea base tranquila, campos frente a sus consumidores, filas frente a sus fuentes y el efecto del trabajo frente a la misma fuente sin él. Da a cada prueba un responsable y una fecha de revisión. Mantén estas decisiones éticas separadas del registro legal y contractual; una prueba superada no crea permiso, y el permiso no hace considerada una recopilación descuidada.
Preguntas frecuentes
¿Estas pruebas son asesoramiento legal?
No. Cubre cuatro pruebas operativas que un equipo puede ejecutar sin abogado. Las preguntas sobre términos, datos personales, jurisdicción o autorización pertenecen al registro de decisiones previo.
¿Pasar una comprobación de robots.txt satisface estas pruebas?
No. Una regla de robots es una instrucción de coordinación de rastreadores. No mide carga, uso de campos, atribución ni efecto sobre la fuente. Las cuatro pruebas necesitan su propia evidencia.
¿Con qué frecuencia deben ejecutarse las pruebas?
Al inicio de un trabajo, siempre que cambien la lista de campos, la fuente, la ventana o la concurrencia, y en la fecha de revisión del registro. Un trabajo considerado el trimestre pasado puede volverse descuidado tras un cambio en la fuente.
¿Qué debe hacer un equipo cuando falla una prueba?
Reduce la presión y vuelve a ejecutar la prueba: baja la concurrencia, mueve la ventana, elimina campos sin uso, añade atribución o detén el trabajo. Una prueba fallida es una razón para cambiar el trabajo, no para reformular el resultado.
Fuentes
Este artículo forma parte de la guía: Primeros pasos con automatización de navegador: mapa inicial
Artículos Relacionados
Scraping legal y términos: qué debe decidir un equipo primero
DespliegueScraping con robots.txt: reglas, bloqueos y fallos de acceso
Primeros pasosNavegador para web scraping: ¿qué tipo necesitas?
Primeros pasosScraping con Playwright: navegador y perfil
Primeros pasosRastreo web: presupuesto y cortesía básicos
DespliegueScraping de bolsas de empleo: límites del navegador
Ejecuta la misma comprobación en BotBrowser
Carga un perfil, mantén dentro del navegador las señales que acabas de leer y confirma el resultado en tu propia máquina antes del despliegue.