Arañas Web (Crawlers)

Introducción a las arañas Web (crawlers)

Una araña Web (también conocida como crawler, Web spider o Web walker) es un pequeño software, un pequeño programa que recorre el entremado de páginas Web de Internet de forma automática y sistemática.

Las arañas Web (crawlers) se utilizan mucho hoy en día. Su principal uso es en motores de búsqueda, pero éste no es el único uso en absoluto. Las arañas Web (crawlers) pueden utilizarse para multitud de tareas. Por ejemplo, podríamos crearnos una araña Web (crawler) que invite a todos los miembros de Tuenti que salgan de fiesta por Madrid centro y estudien en la Universidad Carlos III de Madrid o podríamos crear una araña Web (crawler) que garantizara que todos los enlaces de nuestra página Web apuntan a páginas activas.

Como vemos, el uso de una araña web (crawler) puede ser muy variado, estando los límites establecidos únicamente en la imaginación.

Como comentario alentador hacia programadores Web que estén dudando si las arañas Web (crawlers) son herramientas que merecen la pena estudiar, diré que programadores Web y diseñadores Web hay muchos en el mercado, pero pocos hay que tengan conocimientos reales sobre arañas Web (crawlers), conque puede ser un punto a favor en un proceso de selección.

Ahora que sabemos un poco más acerca de las arañas Web (crawlers), es el momento para entrar en materia. Para ello, lo primero que debemos tener es una definición de araña web (crawler).