Volver al Centro de conocimiento
Primeros pasos

Qué es un rastreador web: cinco etapas del rastreo

Sigue un rastreador web desde sus URL iniciales hasta la siguiente petición: alcance, descarga, análisis, descubrimiento de enlaces y decisiones de cola.

BotBrowser Team

Documentación

Quieres la documentación estructurada de Primeros pasos?

Este artículo forma parte de la biblioteca editorial. Para pasos de configuración, material de referencia y actualizaciones continuas, entra en la sección de docs.

Un rastreador web es un programa que descubre direcciones web y recupera páginas conforme a una política. Parte de URL conocidas, descarga las páginas admisibles, lee su contenido, encuentra otros enlaces y decide qué dirección visitar después. El bucle es sencillo; determinar qué URL deben entrar en él concentra buena parte del trabajo de ingeniería.

BotBrowser puede proporcionar un navegador Chromium para automatización autorizada cuando una página requiere renderizado. No sustituye la lista inicial de URL, la frontera de rastreo, las reglas de deduplicación ni el permiso para recopilar un sitio. Un rastreador puede utilizar un cliente HTTP ordinario, un navegador o ambos. El navegador es un componente de recuperación dentro de un proceso más amplio.

TL;DR

  • Una URL inicial pone en marcha el descubrimiento; no describe todas las páginas que pertenecen a un sitio o proyecto.
  • La descarga requiere una URL admisible, una decisión sobre la política del sitio y un turno de petición disponible. Descubrir una dirección no autoriza a solicitarla.
  • Analizar una respuesta y extraer enlaces son operaciones distintas: un HTML válido puede no contener ninguna siguiente URL admisible.
  • Resuelve cada referencia respecto de la base del documento antes de comprobar alcance y duplicados. Conserva la URL resuelta y el motivo de aceptación o rechazo.
  • La frontera contiene trabajo pendiente. Que esté vacía solo demuestra que no queda trabajo admisible bajo las reglas registradas, no que se hayan encontrado todas las páginas posibles.

Contenido

Cinco etapas conectan una URL inicial, una descarga admisible, un documento analizado, enlaces resueltos y una decisión de planificación, con ramas explícitas de rechazo.

El bucle de cinco etapas

Considera un catálogo expresamente hipotético en https://catalog.example/. Su propietario quiere que un rastreador inspeccione páginas HTML públicas bajo /catalog/, empezando en /catalog/index. La ejecución excluye páginas de acceso, otros orígenes y archivos descargables. Son reglas elegidas para este proyecto, no una definición que deba seguir todo rastreador. Los ejemplos siguientes son una propuesta de traza, no la salida de un rastreo ejecutado.

EtapaEntradaDecisiónResultado registrado
Inicio/catalog/index¿Pertenece este punto de partida al alcance declarado?URL inicial admisible
DescargaURL absoluta admisible¿Puede ejecutarse ahora una petición y seguirse su destino de redirección?Respuesta o intento aplazado o fallido
AnálisisCuerpo y metadatos de la respuesta¿Qué representación documental y analizador corresponden?Documento analizado o fallo de análisis identificado
DescubrimientoEnlaces del documento¿Qué URL absolutas significan las referencias y cuáles son nuevas y admisibles?Candidatos aceptados y motivos de rechazo
PlanificaciónCandidatos y trabajo pendiente¿Qué elemento admisible se ejecuta después y qué trabajo queda?Siguiente petición, elemento aplazado o parada registrada

Es un modelo didáctico, no una arquitectura de software obligatoria. Un framework puede combinar operaciones o ejecutar varias peticiones a la vez. La documentación de arquitectura de Scrapy distingue planificador, descargador y spiders: la respuesta llega al spider y las nuevas peticiones que este genera vuelven al planificador. Separarlos permite preguntar qué componente perdió o rechazó una URL.

La descripción del funcionamiento de la Búsqueda de Google Search Central también diferencia descubrimiento, rastreo e indexación. Son etapas documentadas de la búsqueda de Google, no una promesa de que toda URL descubierta se descargue o indexe. Un rastreador que crea un inventario de su propio catálogo no tiene por qué construir un índice de búsqueda.

La comparación entre rastreador y scraper separa cobertura de recuperación y extracción de campos. Aquí el artefacto útil es una secuencia de decisiones sobre URL. Una página puede descargarse y analizarse correctamente aunque un extractor independiente rechace su ficha de producto por faltar el precio. A la inversa, el rastreador no puede declarar un fallo de extracción de registros para una página que nunca recuperó.

Elegir las URL iniciales y definir el límite

Una URL inicial es una dirección que se entrega al rastreador para arrancar. Puede proceder de un archivo de configuración, de una lista facilitada por el propietario o de un sitemap. La ejecución hipotética empieza con https://catalog.example/catalog/index. Esa elección indica dónde comienza el descubrimiento. No demuestra que desde allí pueda alcanzarse cada página permitida del catálogo.

Mantén separadas la lista de partida y la regla de alcance. Otra URL inicial, como /catalog/archive, puede exponer una parte desconectada del mismo catálogo autorizado. Una dirección inicial bajo /account/ incumple la restricción /catalog/ de esta ejecución aunque comparta host. El rastreador debe rechazarla antes de convertirla en una operación de red, con un motivo como outside_path_scope.

Define un límite evaluable en lugar de confiar en «quedarse dentro del sitio». En este ejemplo, las URL admisibles usan https:, tienen el origen exacto https://catalog.example y una ruta bajo /catalog/. El propietario excluye además /catalog/private/. Un origen incluye esquema, host y puerto; compartir marca o sufijo no incorpora otro origen al destino aprobado.

CandidatoDecisión de alcance de este ejemploMotivo
https://catalog.example/catalog/indexAceptarPágina inicial del catálogo
https://catalog.example/catalog/archiveAceptarOtro punto de entrada aprobado por el propietario
https://catalog.example/account/RechazarRuta fuera del catálogo declarado
https://cdn.example/catalog/indexRechazarOrigen diferente
https://catalog.example/catalog/private/itemRechazarExclusión explícita de una ruta privada

Comprueba la ruta en una URL analizada, no mediante una subcadena sin interpretar. Buscar el texto catalog.example también puede encontrarlo en una ruta, un parámetro de consulta o un host distinto. Acuerda con el propietario cómo tratar las rutas codificadas y las redirecciones; decodificar o reescribir componentes indiscriminadamente puede alterar su significado. Un comparador de alcance no es un sistema de autorización para entradas arbitrarias.

El fallo que se evita aquí es una afirmación de cobertura inválida. Supón que el propietario proporciona por separado una lista finita de URL esperadas. Comparar las descargas con esa lista puede revelar páginas ausentes. Sin ese denominador independiente, «todas las páginas encontradas» solo significa todas las halladas mediante este método de descubrimiento. Ni un punto de partida amplio ni muchas peticiones aportan el denominador que falta.

Registra juntos el conjunto inicial, la versión del alcance y el identificador de ejecución. Si se añade /catalog/archive a mitad del trabajo, los descubrimientos posteriores parten de entradas diferentes. Hacer visible ese cambio permite explicar una URL recién encontrada sin atribuirla a una corrección del analizador o a un cambio de navegador.

Descargar una URL admisible

Descargar convierte una URL aceptada en un intento de petición. Antes de enviarlo, comprueba las reglas del sitio y el permiso del proyecto; después determina si puede ejecutarse en ese momento. Son decisiones distintas. Una URL puede estar dentro del catálogo y, aun así, quedar prohibida por la política robots aplicable, fuera del permiso del propietario o aplazada por un planificador por origen.

La explicación de la política robots.txt cubre el grupo de agente identificado y la interpretación de sus reglas. El RFC 9309 establece que estas reglas no constituyen autorización de acceso. Una admisión de robots no sustituye condiciones, consentimiento ni decisiones de control de acceso; que falte el archivo no convierte un recurso privado en un destino permitido.

Utiliza una política de peticiones que registre por qué se ejecutó la operación. Para la página hipotética /catalog/index, el intento puede contener request_url, requested_at, policy_version, attempt_number y un resultado de descarga. Son campos de aplicación propuestos. No son pruebas aportadas por el navegador de que exista permiso, y ningún valor de ejemplo representa una medición real de red.

Las redirecciones necesitan una nueva comprobación del límite. Una petición a /catalog/old puede conducir a /account/login o a otro origen. Validar solo la URL inicial y seguir automáticamente las redirecciones permite salir del alcance declarado. Inspecciona el siguiente destino antes de seguirlo, conserva la cadena para diagnosticarla y detente cuando el destino no sea admisible. Aplica también un límite finito de redirecciones.

Una respuesta descargada todavía debe clasificarse. Una página HTML del catálogo, un formulario de acceso con HTTP 200, una respuesta 404 y un error temporal del servicio significan cosas distintas. Guarda el estado, la URL final y el tipo de medio pertinente junto a la decisión sobre el cuerpo. No etiquetes cualquier HTTP 200 como página de catálogo correcta: la aplicación puede haber recibido una representación equivocada.

El planificador también necesita una política de peticiones por origen. La concurrencia controla el trabajo simultáneo; el espaciado limita cuándo comienza una petición nueva. Ninguna equivale a la otra. Si el origen señala sobrecarga, conserva un resultado aplazado y la política de reintento aplicable en lugar de crear un bucle inmediato. El dimensionamiento detallado pertenece a la capacidad; esta etapa necesita una regla más concreta: una página descubierta no siempre puede descargarse ahora. La hoja de capacidad de rastreo calcula cómo las pausas y la reserva para reintentos reducen un presupuesto finito de inicios de petición.

Separa resultados de intentos y resultados de URL. /catalog/item-7 puede sufrir un primer intento agotado por tiempo y obtener después una respuesta correcta. El registro debe conservar ambos hechos y asignar a la URL un único estado actual de planificación. Contar los dos intentos como dos páginas cubiertas infla la cobertura; borrar el primero elimina la prueba necesaria para comprender el reintento.

Analizar la representación recibida

El análisis interpreta la respuesta como documento. Primero hay que saber qué se está procesando. Un analizador HTML, uno JSON y un procesador PDF tienen funciones distintas. Si esta ejecución acepta páginas públicas HTML del catálogo, un tipo de medio inesperado debe producir un resultado identificado, no enviarse sin más al extractor de enlaces HTML.

La URL de respuesta importa porque las referencias posteriores necesitan una base. Si /catalog/index redirige a /catalog/season/, el documento recuperado corresponde a la ubicación final. Una referencia relativa como item-7 se resuelve de forma distinta desde ambas ubicaciones. Conserva la URL final de la descarga en vez de reconstruirla desde la dirección inicial.

Analizar HTML recibido y renderizar una página también son operaciones diferentes. Un cliente HTTP puede analizar enlaces ya presentes en la respuesta. Un navegador puede ejecutar scripts que creen otros nodos y enlaces DOM. Google documenta esas rutas en sus fundamentos de SEO para JavaScript. La documentación describe su propio proceso; no demuestra que cualquier rastreador ejecute JavaScript.

Elige la representación de forma deliberada. En una página de prueba propia, compara los enlaces de la respuesta con los que crea la aplicación al alcanzar su estado de disponibilidad documentado. Si los enlaces necesarios ya están en el HTML recibido, ese paso de descubrimiento no necesita renderizado. Si aparecen únicamente tras inicializarse la aplicación, se necesita una etapa de navegador correspondiente u otra fuente de URL aprobada por el propietario.

BotBrowser puede servir como esa etapa dentro de una automatización autorizada, según su documentación de inicio. No elige la condición de disponibilidad ni decide que el DOM esté completo. El contrato de la aplicación debe identificar el evento, estado o elemento que hace significativa la recopilación de enlaces. Una espera arbitraria puede terminar antes de que lleguen los datos o prolongarse sin fin si la página mantiene actividad de fondo.

Conserva los fallos de análisis como una rama propia. Si se recuperó la respuesta pero el analizador rechazó su contenido, la URL se descargó; lo que falló fue su interpretación. Si una página analizada no contiene anclas admisibles, el análisis puede haber sido correcto. Registra casos distintos, como parse_failed y parsed_no_candidates, con significados definidos por la aplicación.

Esta distinción evita una corrección costosa pero equivocada. Aumentar los recursos del navegador no convierte una respuesta de acceso en una página de catálogo autorizada. Repetir una descarga HTTP no revela enlaces creados por scripts si la representación no cambia. Diagnostica la clase de respuesta y el objetivo del análisis antes de sustituir el componente de recuperación.

Resolver enlaces y rechazar duplicados

El descubrimiento comienza con referencias, que no siempre son URL absolutas. Un ancla puede contener item-7, ../archive/ o #details. La referencia del constructor URL explica cómo resolver referencias relativas respecto de una base. En HTML analizado, la URI base del documento también puede depender de un elemento base aplicable.

La tabla siguiente supone una base registrada de https://catalog.example/catalog/season/. Presenta decisiones propuestas para esta política, no resultados de un rastreador en ejecución. Una base externa cambiaría la resolución; el destino resuelto sigue sujeto a la misma comprobación de origen.

ReferenciaURL resueltaDecisión
item-7https://catalog.example/catalog/season/item-7Nuevo candidato admisible
./item-7https://catalog.example/catalog/season/item-7Candidato duplicado
item-7#detailshttps://catalog.example/catalog/season/item-7#detailsMisma clave de descarga según la política de fragmentos de esta ejecución
../archive/https://catalog.example/catalog/archive/Candidato admisible
/account/loginhttps://catalog.example/account/loginFuera del alcance de rutas
https://other.example/catalog/item-7https://other.example/catalog/item-7Fuera del alcance de orígenes

Comprueba la admisibilidad después de resolver la referencia. Un enlace relativo aparentemente inocuo puede apuntar a un destino excluido al cambiar la base. Acepta solo esquemas adecuados al rastreador: una referencia mailto: o javascript: no es una petición HTTP al catálogo. Un servicio general que admita URL arbitrarias necesita controles adicionales de seguridad sobre los destinos de red, además de las reglas de este ejemplo.

La deduplicación necesita una clave explícita. Esta ejecución elimina el fragmento para identificar una descarga de red, por lo que las tres referencias al producto comparten clave. Es una política del catálogo, no una prueba de que los fragmentos nunca afecten a una aplicación. Una ruta renderizada en el cliente puede usarlos para seleccionar otra vista. Si esa vista forma parte del trabajo, la clave de navegación del navegador y la de descarga HTTP pueden diferir.

No elimines parámetros de consulta por parecer repetitivos. /catalog/search?page=1 y /catalog/search?page=2 pueden mostrar productos distintos. En cambio, un parámetro de seguimiento confirmado por el propietario podría omitirse en la clave de planificación. Registra qué transformación está permitida y por qué. Ordenar, pasar a minúsculas o decodificar una URL entera puede fusionar direcciones que el servidor distingue.

Guarda la referencia original y su página de origen junto al candidato resuelto. Un rechazo con source_url, raw_reference, resolved_url, candidate_key y decision_reason explica cómo se tomó la decisión. También revela un extractor que recorta direcciones o ignora la base. Conservar solo la lista final de visitas pierde esas pruebas del descubrimiento.

Las URL duplicadas y los documentos duplicados son cuestiones distintas. Dos direcciones pueden devolver cuerpos idénticos; una misma dirección puede cambiar de contenido con el tiempo. Un hash de contenido puede apoyar decisiones de almacenamiento o detección de cambios, pero no demuestra que ambas identidades URL deban fusionarse para cualquier finalidad. La frontera debe usar la regla de identidad declarada y registrar aparte la comparación de contenido si resulta necesaria.

Elegir la siguiente petición y explicar la parada

La frontera reúne las URL pendientes y el estado necesario para planificarlas. No tiene por qué ser una sola cola en memoria. Un script pequeño puede usar una cola y un conjunto; un servicio mayor puede persistir trabajo entre workers. Ambos deben distinguir lo descubierto, encolado, en ejecución, aplazado y terminado.

En el catálogo hipotético, /catalog/archive/ puede estar en cola mientras /catalog/season/item-7 espera un momento permitido. La siguiente petición se elige entre el trabajo pendiente admisible. Un recorrido por amplitud tiende a visitar antes enlaces cercanos a las URL iniciales; una política de prioridades puede favorecer una sección definida por el propietario. Ninguna garantiza cobertura completa si hay páginas inalcanzables o un espacio de URL que sigue creciendo.

Estado del elementoQué sabe la ejecuciónQué queda por hacer
queuedEl candidato superó las comprobaciones actuales de admisiónAsignarlo a una descarga admisible
runningUn worker posee un intentoCompletarlo o recuperarlo
deferredQueda trabajo que todavía no puede ejecutarseReevaluarlo en el momento o condición registrados
finishedLa URL alcanzó un resultado terminal declaradoConservar respuesta y resultado de procesamiento
rejectedUna política registrada excluyó el candidatoConservar el motivo sin contarlo como descargado

Son estados de registro sugeridos, no un estándar de frameworks. El fallo de un worker no debe transformar silenciosamente running en finished. Un planificador persistente puede usar una concesión temporal u otro mecanismo explícito de propiedad para recuperar trabajo interrumpido. La recuperación también necesita protección contra duplicados: reintentar una operación abandonada no debe crear dos propietarios simultáneos de la misma clave.

Evita un conjunto genérico de «visto equivale a terminado». Si se marca una URL como vista al descubrirla y falla su escritura en la cola, puede desaparecer de posteriores descubrimientos sin llegar a descargarse. La admisión debe dejar un resultado duradero pendiente o rechazado. Del mismo modo, una petición fallida no está completa porque ya se hubiera observado su URL. El registro debe distinguir descubrimiento duplicado y estado actual de trabajo.

Parar exige más que comprobar si la cola inmediata está vacía. Los elementos aplazados, intentos activos y respuestas sin procesar todavía pueden generar trabajo. Una ejecución acotada debe registrar si terminó porque todo el trabajo admitido alcanzó un estado terminal, se agotó un límite temporal o de páginas, lo pidió un operador o una política impidió continuar. Cada resultado justifica una afirmación de cobertura distinta.

Por ejemplo, si /catalog/archive/ está terminado pero item-7 sigue aplazado, puede afirmarse «ahora no hay ninguna petición admisible; queda una URL admitida pendiente». No «el catálogo está completo». Cuando todas las URL admitidas sean terminales, informa del alcance, los puntos iniciales y los recuentos por resultado terminal. Una lista independiente del propietario permite después comparar cobertura; la frontera no revela páginas que nunca descubrió.

Preguntas frecuentes

¿Todo rastreador web utiliza un navegador?

No. Un cliente HTTP y un analizador pueden descubrir enlaces presentes en el HTML recibido. El navegador resulta útil cuando el trabajo depende del documento renderizado, pero sigue necesitando una política externa de descubrimiento y planificación.

¿Termina un rastreador después de visitar la página principal?

Solo si esa única URL es el trabajo declarado. Para descubrir un catálogo, la respuesta inicial suele crear candidatos adicionales que necesitan resultados de admisión y estados terminales registrados.

¿Un enlace canonical ordena borrar otra URL?

Una declaración canonical no sustituye la regla de identidad de descarga del proyecto. Conserva la declaración observada y decide cómo afecta al trabajo. No la trates automáticamente como permiso, redirección HTTP ni prueba de que dos respuestas sean idénticas.

Fuentes

Conclusión práctica

Define para un rastreo autorizado del catálogo una lista inicial, una regla de alcance y una condición finita de parada. Conserva para cada referencia su origen, URL resuelta y motivo de admisión; para cada URL admitida, los resultados de descarga, análisis y planificación. Estos registros convierten las cinco etapas en un bucle explicable, incluidas las URL rechazadas o aplazadas. El navegador puede aportar el documento renderizado cuando sea necesario; permiso, política de descubrimiento y finalización siguen siendo responsabilidad del operador.

#Web Crawler#Crawling#Url Discovery#scraping web

Este artículo forma parte de la guía: Primeros pasos con automatización de navegador: mapa inicial

Ejecuta la misma comprobación en BotBrowser

Carga un perfil, mantén dentro del navegador las señales que acabas de leer y confirma el resultado en tu propia máquina antes del despliegue.