El Ataque de los Buscadores

A medida que un sitio web se empieza a hacer popular, los motores de búsqueda también le van dando más importancia. Esa importancia se traduce en mayor frecuencia y profundidad al momento de indexar el sitio.

Eso es muy bueno para un sitio web, pues al tener un buscador más páginas de un sitio, la probabilidad de que alguien encuentre a dicho sitio aumenta. El lado negativo (y no despreciable) es que los buscadores pueden llegar a asediar de tal manera a un sitio web, con sus cada vez más frecuentes visitas, que pueden sacarlo de funcionamiento.

Lidiar con esa clase de problemas no es fácil, pues bloquear al robot indexador de un sitio es un arma de doble filo: reduce la carga al servidor, pero perjudica a largo plazo al sitio web. Una mejor solución es preparar al sitio para entregarle a los buscadores la información que requieren y dejar de lado procesos que sólo tienen sentido en caso de visitas humanas (como por ejemplo aumentar contadores de visitas).

Enviar a un buscador páginas que difieren de aquellas que se le envían a los visitantes humanos es también un arma de doble filo. Hay buscadores que visitan regularmente los sitios haciéndose pasar por humanos para ver si el sitio intenta engañar al buscador. Si se detecta un intento de ese tipo, el buscador perjudicará al sitio eliminando páginas del índice.

Google está probando desde hace algún tiempo un sistema Google Sitemaps, que pretende dar la posibilidad a los administradores de sitios, de indicar a Google qué páginas debe indexar, cuáles no y con qué frecuencia. Es una idea interesante que podría dar buenos resultados si logra masificarse.

Al final hay pocos caminos que evitan tener que almacenar páginas en un cache, para reducir el trabajo del servidor aparte de distribuir la carga en más y más equipos, para mantener a los visitantes humanos y los voraces robots de los buscadores satisfechos.

Gik.-