Scraping de Indeed: campos, páginas y duplicados

El scraping de empleos de Indeed requiere una fuente autorizada antes de que un analizador o navegador produzca datos laborales útiles. Título, organización, ubicación, fechas e identidad necesitan un contrato de campos; las páginas cambiantes también deben distinguir observaciones repetidas de puestos distintos. Las mismas preguntas se aplican a una fuente LinkedIn autorizada, pero las páginas visibles de ninguna plataforma conceden permiso general de recolección. BotBrowser proporciona entradas declaradas de región y sesión; no concede acceso a portales, no aporta anuncios ni garantiza un orden estable. Conserva lo que establece la fuente y separa campos ausentes o falta en una lista de hechos laborales.

Resumen

• Comprueba los términos aplicables y la fuente autorizada real. Visibilidad y marcado estructurado no conceden permiso general.
• Define cada campo requerido, su fuente y el significado de su ausencia antes de analizar tarjetas o detalles.
• JobPosting es un vocabulario, no prueba de campos o marcado concreto en una respuesta de Indeed o LinkedIn.
• Un ejemplo construido con lista cambiante muestra repeticiones u omisiones por desplazamiento. No establece la implementación de ningún portal.
• Deduplica mediante identidad de anuncio limitada a la fuente, conserva el historial y exige pruebas distintas antes de marcar un cierre.

Contenido

• Establecer el acceso permitido
• Definir el contrato de campos
• Separar observaciones estructuradas y renderizadas
• Explicar solapamientos con una lista de prueba
• Deduplicar sin fusionar empleos diferentes
• Separar desaparición y cierre
• Conclusión práctica

Establecer el acceso permitido

Los términos de Indeed tratan expresamente el acceso automatizado. Su disposición exige permiso escrito expreso e incluye una autorización condicional de rastreo solo según su archivo robots. Lee el alcance aplicable sin convertirlo en licencia general de reutilización. El permiso para cierto rastreo no establece permiso para otra finalidad, otra interfaz o información de cuenta. Identifica una integración, fuente o una observación expresamente permitida antes de elegir el analizador. La comparación de datos de lugares de Google Maps aplica otro contrato: los campos solicitados, los identificadores variables y los límites de retención permanecen separados de la observación de interfaz. El modelo de anuncios inmobiliarios separa el anuncio del inmueble y compara precios solicitados solo con la misma moneda y sentido de transacción; una tarjeta ausente no acredita una venta. El modelo de ingesta de empleo separa campos brutos y normalizados, ocurrencias de publicación y resultados de observación, para no convertir un repost o una tarjeta ausente en un cierre inventado.

El acuerdo de LinkedIn prohíbe por separado usar programas, scripts y otros medios automatizados para extraer o copiar el servicio, además del acceso automatizado no autorizado. No supongas condiciones idénticas a Indeed ni que un anuncio público las sustituye. Si no existe el permiso necesario, usa una fuente aprobada o devuelve esa limitación. La decisión no exige alternativas al inicio de sesión, recopilación de perfiles de candidatos ni cambios de identidad tras un rechazo.

RFC 9309 dice expresamente que robots no es autorización de acceso. Una disposición contractual puede referirse a condiciones robots, como hace Indeed; exige leer disposición y límites, no afirmar que el estándar concede derechos. Conserva fundamento del permiso y alcance de datos como entradas distintas del plan. No deduzcas derechos de redistribución o conservación de una respuesta HTTP correcta. Legibilidad técnica y uso aprobado siguen siendo preguntas distintas.

El análisis de la capa del navegador en portales laborales cubre límites generales de acceso y navegador. El contrato de campos añade una pregunta posterior: ¿qué establece esta observación permitida sobre el anuncio? Especifica si usa una fuente aprobada, muestra suministrada u observación de página autorizada por separado. Registra la elección sin conservar estado de cuenta reutilizable. Si no responde al campo requerido, devuelve las pruebas ausentes en vez de tratar automatización como permiso alternativo.

Definir el contrato de campos

El vocabulario JobPosting define título, organización contratante, ubicación y fecha de publicación. Ayuda a describir registros, pero no garantiza todos los campos en un portal. Define requisito y fuente real de cada uno. Título de tarjeta, empresa de detalle y fecha estructurada son observaciones separadas hasta establecer que pertenecen al mismo anuncio de fuente. No las unas solo porque el texto parezca razonable.

Grupo	Pruebas que conservar	Límite interpretativo
Identidad del anuncio	Espacio de nombres e identificador real cuando exista	El título no es identificador ni clave global de vacante
Puesto y organización	Título y entidad contratante atribuidos	Empresa similar no demuestra mismo anuncio
Ubicación	Lugar observado y significado remoto explícito	La región del navegador no es ubicación laboral
Publicación y validez	Fecha y validez aportadas por la fuente	Hora de recolección no es publicación ni cierre
Retribución y tipo	Importe, moneda, periodo y tipo contractual si existen	Salario ausente no es cero; rango no es importe fijo
Procedencia	Representación, hora y resultado de recolección	Actualización fallida no es cambio laboral

La referencia del esquema define datePosted como publicación de un anuncio en línea y validThrough como fin de validez. Sepáralos de la hora del recolector. Un registro descubierto hoy puede haberse publicado antes; sin validez suministrada, ese dato es desconocido. No crees un vencimiento desde la última observación ni desde una expectativa general sobre la duración de anuncios.

La ubicación exige el mismo cuidado. jobLocation y jobLocationType existen en el vocabulario, pero no se establecen por la región configurada del navegador. Conserva la declaración real, incluida una designación remota explícita cuando exista, sin convertir ausencia en elegibilidad mundial. El sistema de observaciones usado en precios separa fuente y análisis posterior. Mantén significados y desconocidos para que estadísticas de salario, ubicación o antigüedad no incluyan valores inventados.

Cada fila es requisito de aplicación, no afirmación sobre la salida actual de Indeed o LinkedIn. Si falta un campo obligatorio, conserva un registro incompleto o recházalo según la regla documentada. La información opcional ausente no invalida todos los usos. Distingue falta del valor en origen, intento fallido de lectura y cambio real. No deben terminar como una misma cadena vacía en el conjunto aceptado.

Separar observaciones estructuradas y renderizadas

La guía JobPosting de Google pide situar los datos en la página concreta de un único puesto junto con su descripción visible. No establece un objeto completo en cada página de resultados. Una lista autorizada puede contener resúmenes mientras el detalle permitido contiene más campos. Establece la representación recibida antes de concluir que lo ausente de una tarjeta falta en el puesto.

La referencia script type de MDN describe bloques no ejecutables mediante un tipo MIME apropiado distinto de JavaScript. Explica cómo pueden existir datos sin ejecutarlos, no que una respuesta Indeed o LinkedIn los contenga ni que sean completos o actuales. Una respuesta guardada autorizada solo demuestra presencia en esa observación. La atribución debe detenerse ahí si faltan pruebas más amplias.

Si una muestra permitida contiene datos estructurados y contenido renderizado, conserva ambos tipos de fuente en vez de elegir silenciosamente el campo más fácil. Un título estructurado y una tarjeta abreviada pueden diferir sin ser otro puesto. Una frase de salario puede incluir contexto perdido al extraer solo el importe. Determina qué valor responde al campo y conserva la correspondencia. Si no reconcilias las representaciones con el anuncio, marca sin resolver en vez de construir un registro aparentemente completo.

El vocabulario JobPosting orienta la interpretación de propiedades reales, pero no es un contrato de selectores del portal. No infieras interfaces privadas, identificadores ocultos o HTML estable. Para cambiar un analizador autorizado, guarda una muestra mínima anonimizada y la regla interpretativa, sin datos ajenos de cuentas o candidatos. Un cambio de formato requiere versión y validación del analizador, no una variación laboral inexplicada.

El renderizado sirve para observar texto o estado requerido por la pregunta aprobada y ausente de la respuesta permitida. No repara por sí mismo un campo inaccesible. Si un valor sigue sin atribuirse al puesto, registra la limitación. El navegador establece el estado permitido de esa ejecución, no cobertura universal, permiso para ampliar el alcance o corrección de todos los campos.

Explicar solapamientos con una lista de prueba

La paginación por desplazamiento puede solaparse si cambia la lista entre observaciones. Es una propiedad del ejemplo construido, no una medición de Indeed o LinkedIn. Supone páginas de tres entradas e inserción antes de la segunda solicitud. Las letras representan identidades de una lista propia, no anuncios reales. Separa posición e identidad antes de elegir deduplicación.

Paso	Lista ordenada	Página observada	Consecuencia
Solicitud inicial	A, B, C, D, E, F	A, B, C	Primera página observa tres identidades
Insertar X al principio	X, A, B, C, D, E, F	Aún no solicitada	Los registros cambian de posición
Siguiente desplazamiento	X, A, B, C, D, E, F	C, D, E	C se repite aunque avance el desplazamiento

C repetida no es un puesto nuevo, y su segunda aparición no necesita descartarse como inútil. Es otra observación posterior de la misma identidad. Una eliminación análoga podría provocar una omisión. Completar solicitudes de páginas no prueba una instantánea estable. El ejemplo no establece desplazamientos, orden concreto ni cursores de instantánea compatibles en esos portales.

El contrato de navegación depende de la fuente. La guía JobPosting de Google trata detalles individuales, no paginación universal. Usa el modelo documentado real de la integración aprobada cuando exista. Sin garantía de instantánea, describe una secuencia temporal de observaciones. Reintentos del navegador, región fija o un recuento mostrado no crean esa garantía ni una población verificada.

En una prueba propia, comprueba identidades y horas, no solo cantidad de filas. La inserción sintética debe generar una identidad repetida con dos observaciones, no dos empleos. Un registro ausente en otra lista permanece no observado allí, no cerrado automáticamente. Separa muestra y resultado esperado de pruebas de producción. Así verificas la regla sin afirmar comportamientos de servicios protegidos ni recopilar datos de candidatos reales.

Deduplicar sin fusionar empleos diferentes

Si la fuente autorizada ofrece un identificador utilizable, forma la clave con espacio de nombres e identificador. Es regla de aplicación, no promesa de disponibilidad universal. La definición de identificador de JobPosting es general y no establece una vacante mundialmente única. Conserva fuente y semántica reales sin asignar una clave común a todos los títulos y empresas parecidos.

La correspondencia entre portales es otra inferencia. Un empleador puede repetir títulos, publicar puestos similares o contratar en varios lugares. Dos registros parecidos no prueban una sola vacante distribuida. Conserva identidades de cada fuente aunque después se proponga una coincidencia. Mantén pruebas e incertidumbre en vez de eliminar un origen antes de definir duplicado. La identidad del anuncio y la vacante real responden preguntas diferentes.

Sin identificador fiable, una URL atribuida puede ser referencia candidata, según su semántica real. No elimines parámetros o partes de ruta sin demostrar irrelevancia para la identidad. Si ninguna referencia establece una clave estable, conserva identidad provisional e incertidumbre. Un hash de descripción mutable permite comparar observaciones, pero cambiar texto no crea necesariamente otra vacante. Texto idéntico tampoco demuestra un único anuncio.

El sistema compartido de observaciones puede separar entidades e historial. La deduplicación consolida apariciones bajo la clave de fuente y conserva hora, representación y resultado. El ejemplo produce una entidad C con dos observaciones. Una descripción nueva con esa clave es posible revisión, no automáticamente nuevo puesto. Una actualización fallida sigue siendo incidente de recolección y no sustituye la descripción aceptada por un registro vacío.

Las entradas del navegador no aportan identidad. La documentación geográfica de BotBrowser define requisitos de perfil, ajustes automáticos derivados del proxy y cambios manuales que requieren ENT Tier1. Son entradas para una observación regional autorizada, no prueba de ubicación laboral, orden estable o identidad entre sesiones. Conserva intención y carga real por separado cuando exista observación de ejecución. Estas reglas no afirman experimentos en portales reales.

Separar desaparición y cierre

La ausencia en una página puede indicar lista cambiante, página no visitada, respuesta incompleta o falta del anuncio en esa respuesta. No decide entre explicaciones. Los términos de Indeed reservan excluir o eliminar anuncios de resultados, por lo que inclusión no garantiza ciclo de vida. La guía JobPosting de Google ofrece opciones al editor: validThrough pasado, retirada de página con estado no disponible o retirada de marcado. No prueban aplicación inmediata ni uniforme en los portales.

Conserva pruebas de ciclo de vida con su alcance. Una declaración de cierre difiere de no encontrar tarjeta. Una validez pasada tiene el significado de fuente; un fallo de transporte no posee significado laboral equivalente. Si necesitas estado de cierre, define pruebas aceptables y conserva desconocido cuando falten. Rechazo, espera agotada o navegación incompleta no establecen que se cubrió una vacante.

El tratamiento de cambios debe distinguir representación, campos, repeticiones y ciclo de vida. Compara muestras permitidas contra el contrato antes de cambiar el analizador. El vocabulario del esquema conserva publicación y validez; el recolector define observación y procesamiento. Reprocesar una muestra histórica es procesamiento nuevo, no observación nueva de una vacante activa. Mantén la diferencia para que una reparación no haga parecer recién recogidos puestos antiguos.

Los términos de Indeed tampoco garantizan exactitud o disponibilidad del contenido de empleadores. Fuente autorizada no garantiza verdad laboral. Conserva procedencia para distinguir declaración e interpretación. Publica una observación comparable y suficientemente respaldada o conserva su limitación concreta. Configuración, renderizado correcto y páginas completadas no eliminan la necesidad de pruebas.

Preguntas frecuentes

¿JobPosting prueba que un portal sirve ese marcado?

No. Define vocabulario. Solo la respuesta autorizada establece representación y campos presentes en una observación.

¿Un anuncio repetido en otra página es nuevo?

No por posición. Usa identidad de fuente y conserva cada hora; emparejar vacantes entre portales sigue siendo otra inferencia.

¿Puede marcarse como cerrado un anuncio ausente?

No solo por eso. Ausencia, recolección fallida y pruebas explícitas de ciclo de vida requieren estados diferentes.

¿Cambiar región del navegador estabiliza resultados?

No. Cambia entradas, no contrato de orden o identidad. Ubicación y ciclo de vida necesitan pruebas de fuente.

Fuentes

• Schema.org: JobPosting
• Google: datos estructurados JobPosting
• MDN: script type
• BotBrowser: zona horaria, región e idioma
• RFC 9309: Robots Exclusion Protocol
• LinkedIn: acuerdo de usuario
• Indeed: términos

Conclusión práctica

Elige una fuente laboral autorizada, define campos y separa identidad de anuncio, posición y coincidencia de vacantes entre portales. Conserva procedencia estructurada o renderizada, hora y desconocidos. BotBrowser proporciona entradas declaradas; la fuente debe establecer hechos laborales y alcance de acceso. Trata solapamientos como observaciones repetidas y exige pruebas de ciclo de vida antes de llamar cerrado a un anuncio ausente.