Qué es una araña o spider

Arañas o Spiders, cómo quireas llamarlos, se les llama a los programas diseñados por los motores de búsqueda o bucadores de internet para alimentar sus bases de datos indexadas. Estos programas tienen una forma sencilla, desde el punto de vista de la comprensión, de trabajar: recorren Internet navegando por todos los dominios y recorriendo sus contenidos. Esto quiere decir que visitan el dominio www.chacoit.com, y entran, a partir de su página de inicio, a recorrer todos los contenidos que estén publicados. Su principal y unico trabajo es recorrer la red (Web) e ir recogiendo datos, que luego almacenan en megagigantescas bases.

Pero hay un detalle importantisimo sobre estas particulares "arañas": piensan. Y lo hacen para clasificar los contenidos, para no caer en trampas y para que su trabajo sea lo más útil posible en el momento en que esa información sea puesta en manos del usuario de buscadores.

Cada buscador tiene su araña, Google (googlebot), Microsoft (msnbot) y así sucesivamente, y cada araña sus reglas. No son las mismas reglas de juego las que pondrá Yahoo o Baidu (buscador de China), por ello es muy importante conocer, más o menos, cuales son los comportamientos de estas arañas, esto ayuda mucho a que los WebMasters trabajen con arreglo a estas reglas y consigan mejores resultados al momento de ser indexados.

Para saber cómo tratan estas arañas a tus contenidos, es muy util contar con una herramienta de estadística de visitas, tipo Urchin, porque ahi se puede ver con claridad la cantidad de veces que te han visitado, la cantidad de información que han leido, etc.

Este laborioso trabajo de recogida de datos, luego es procesado por los distintos algoritmos de busqueda que tienen los motores, en base a esto es que clasifican, ordenan o ranquean contenidos, pero eso es tema de otro artículo....

Esta obra está bajo una licencia de Creative Commons.