¿Qué es un crawler y el crawl budget?

Definición de Crawl budget: Es el presupuesto/tiempo que nos asignan los buscadores para el rastreo de nuestra web basado en diferentes aspectos de nuestro sitio.

¿Qué es un crawler?

Un crawler(araña) es un programa que se basa en explorar webs de forma automática buscando otros enlaces, normalmente son usados por buscadores para rastrear todas las urls posibles y decidir si incluirla en su directorio, para qué búsquedas y en qué posición.

Normalmente pasan varias veces por las mismas cada x tiempo para ver posibles cambios y si mejoran o empeoran su posicionamiento en el buscador, teniendo en cuenta todas las directrices y señales no solo de la web que rastrean sino de las que perciben de otras urls y páginas web.

¿Hay que optimizar nuestra web para aprovechar mejor el budget?

Claro hay que optimizar lo mejor posible las rutas de rastreo de nuestra web no solo por medio del archivo robots.txt sino también por medio de los enlaces follow y nofollow a nivel interno. Aquí te explico cómo optimizar el crawl budget.

¿Cuando es importante optimizar el rastreo?

Normalmente en webs pequeñas (menos de 1000 urls aproximadamente) no se nota apenas una optimización pero para webs medianas o grandes (100.000 urls o más) puede ser todo un acierto, sobre todo cuando hay muchas urls que no son rastreadas porque no da tiempo con el presupuesto asignado, esto suele pasar porque no hemos tenido en cuenta este aspecto, deberíamos de realizar una auditoria y comprobar los problemas de indexación, logs del servidor, robots,txt, sitemap, etc… etiquetas noindex, follows y nofollows internos para ver cuando y donde aplicarlos para obtener una mejoría de rastreo considerable.

Esto mejorará la indexación algunas veces existen webs con muchos artículos sin indexar por culpa de una mala gestión, que al solucionarlo indirectamente crea un efecto de mejoría de ranking por este hecho.