Web Crawler (o araña de la web)
Definición:

Una araña web (o araña de la web) es un programa que inspecciona las páginas del World Wide Web de forma metódica y automatizada. Uno de los usos más frecuentes que se les da consiste en crear una copia de todas las páginas web visitadas para su procesado posterior por un motor de búsqueda que indexa las páginas proporcionando un sistema de búsquedas rápido. Las arañas web suelen ser bots (el tipo más usado de éstos).

Las arañas web comienzan visitando una lista de URLs, identifica los hiperenlaces en dichas páginas y los añade a la lista de URLs a visitar de manera recurrente de acuerdo a determinado conjunto de reglas. La operación normal es que se le da al programa un grupo de direcciones iniciales, la araña descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas. Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente.

Entre las tareas más comunes de las arañas de la web tenemos:

  • Cear el índice de una máquina de búsqueda.
  • Analizar los enlaces de un sitio para buscar links rotos.
  • Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo.

Los buscadores más populares de internet hacen uso de esta herramienta para indexar las páginas a sus servidores.

Fuente: wikipedia
Fecha de Creación: May 7, 2015, 9:59 am
última Modificación: May 7, 2015, 9:59 am

Aporte reciente al blog

10 Febrero 2024
  Un nuevo método de estafa está proliferando a través de WhatsApp, llegando al punto de poner en alerta a las autoridades, que advierten de su peligro a los usuarios. En este caso se trata de las llamadas desde números desconocidos extranjeros, los ...
16 Noviembre 2023
PORTAL UNICO “DOCUEST” Y "PROCEDIMIENTO PARA LA CARGA DE DOCUMENTOS CUESTIONADOS” Fecha de sanción 03-11-2023 Publicada en el Boletín Nacional del 07-Nov-2023 Resumen: APROBAR LA IMPLEMENTACION DEL PORTAL UNICO “DOCUEST” Y EL “PROCEDIMIENTO PARA LA C...

Suscribirme al Blog:

Novedades

El Dr. Dalmacio Vélez Sársfield asiste a una clase por zoom (test). Deepfake en un ciberjuicio o audiencia usando IA. Los riesgos cibernéticos derivados del uso de las nuevas tecnología dentro de un proceso judicial y la necesidad de incorporar seguros de riesgos cibernéticos a las organizaciones que brindan servicios públicos esenciales. Click para ver el video.
 

Buscar
Red Social de Informática & Derecho - Algunos derechos reservados © 2007-2024. Vías de contacto: