Saltar al contenido

Ayudando a Google con el Crawleo, indexación y mejorando el Rankeo

Una vez más vuelvo al ataque, por aquí Álvaro Rondón consultor SEO cansado de de leer, buscar, y probar suerte en Google, solo veo artículos que dicen lo mismo más dos líneas más que realmente no aportan absolutamente nada, o no se mojan, o no he dado con los que cuentan todo con pelos y señales jaja, así que yo te voy a dar mi punto de vista, como lo hago de verdad y porqué.

A fin de cuentas el fin es entender cómo funciona Google, los procesos y el porqué de cada cosa, por ejemplo veo muchos artículos y seos que dicen que el WPO (optimizar los tiempos de carga) es por qué a Google le encanta una web rápida para el usuario y que es un factor de posicionamiento, creo que la primera parte hasta cierto punto es mas o menos cierta, en una web es importante para mejorar la experiencia de usuario, pero creo que realmente no saben realmente porque mejora nuestro posicionamiento y me gustaría aclarar de dónde viene este «dicho» teniendo en cuenta esta premisa:  [box type=»info»] Si llevamos a lo básico las mejoras del rastreo se basan en: Conseguir el máximo tiempo lógico posible que el buscador destine en cada url que nos interese, sin dejar ninguna url por alto de la que tengamos intención de que sean tenidas en cuenta, para esto tenemos en cuenta muchos factores y los principales los comentamos en este articulo.[/box]

Si mejoramos el WPO, lo que estamos haciendo directamente es optimizar el crawl budget y rate en nuestra web, para ver lo de una forma básica con search console que es lo más básico:

optimizacion-basica-wpo-budget

A esta web como podéis ver se le ha optimizado bastante bien, en septiembre le tocó revisión de logs para llevar a cabo una mejora general, como veis se ha aumentado el número de páginas rastreadas al dia, aumentado el número de kb descargados (información que extrae), y reducido el tiempo de descarga.

En resumen, al mejorar la arquitectura (estructura, enlaces internos (follow vs nofollow no por el juice sino por el rastreo, tranquilos lo aclaro más abajo), revisar páginas indexadas que no deberían estarlo), WPO y un largo etc, se ha mejorado mucho el global, entre ellos a lo que decía sobre el WPO, que ha tenido consecuencias directas en bastantes puntos sobre la optimización del crawleo, por ejemplo, el tiempo de descarga de las páginas.

Como todos sabréis y si no, lo digo, digamos que los buscadores primero Crawlean, luego indexan y por último rankean (que sí de primero de seo, pero aquí estamos para todos los públicos), te adjunto una imagen vale más que mil palabras y aquí el enlace de la patente relacionada principal porque habría muchos features que linkear y son un montón en total, patente sobre crawler, que ayudará a entender más el articulo.

Proceso de un buscador

Digamos que lo primero que debería ver ese crawler es nuestro texto indicando y facilitando el proceso para que no pierda el tiempo, ni vea contenido duplicado o al menos lo mínimo posible. Entiende que los bots crawlean incontables webs al día, si pierden el tiempo, le cuesta dinero y por tanto, no le hace ni pizca de gracia.

Un archivo que hay que conocer es el robots.txt aquí te explico porque es tan importante.

¿Por qué es tan importante entonces el robots.txt?

Si el buscador nos asigna un crawl Budget (Tiempo que pasará en nuestra web buscando contenido y pasando por las urls) será mejor no perderlo en urls que no deseamos no? Sobre todo si nuestra web es grande, muchas veces se dejan sin rastrear cientos de urls por tener esto mal, entre otras cosas.

Si no te aclaras siempre puedes pedirme un presupuesto seo. Aquí tienes todos mis servicios de posicionamiento SEO:

¿Por qué te comento esto?

Tenemos en Google Search console una sección que está en Rastreo, Explorar como Google, que sirve para ver cómo procesa google las páginas de un sitio web.

Ejemplo de lo que provoca un mal robots.txt

Como veis en esta web hay un problema que no estamos dejando rastrear por no usar el comando allow ciertas partes de la web que Google si necesita. Por ejemplo el problema de las imágenes es porque en el robots.txt tenían Disallow: /images/ por tanto no podía acceder, como no querían que crawlearan ciertas imágenes puse el Allow: + ruta de la imagen que si queríamos.

Por otro lado un comando que soluciona muchos errores de bloqueo de css y javascript y suelo poner casi de forma incondicional es:
Allow: /*.js$
Allow: /*.css$

También es importante indicar el sitemap y el host pero lo hago de otra forma para que lo vea pero no las búsquedas:

Host: www.web.es
Sitemap: http://www.web.es/sitemap.xml/
Disallow: /?s=
Disallow: /search

Para wordpress que no me interesa ni que vea los feed de diferentes rutas ni un feed de comentarios, permito que vea el Feed general para Google Blogsearch pero no el resto:

Allow: /feed/$
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$

 

Sitemap: ¿Qué sentido tiene entonces enviar sin trabajarlo?

Ninguno, muchos simplemente comentan que es importante, y usan cualquier plugin pero sin más, yo recomiendo o bien hacerlo a mano o bien con el plugin: Google XML Sitemap que es el que yo uso.

Por otro lado es súper importante el sitemap de imágenes para posicionarlas, en este articulo puedes ver más información sobre como posicionar una imagen en Google.

Donde compruebo que no esté ninguna url que realmente no debería estar en la ruta que te crea en mi caso: https://alvarorondon.com/sitemap.xml/ y si hay alguna, la quito de ésta forma: Ajustes > XML- sitemap

quitar-url-sitemap

Dónde Artículos excluidos, tienes que meter las id´s de los mismos, que sacó de la url al editar el post (https://alvarorondon.com/wp-admin/post.php?post=63&action=edit) en este caso seria, 63 la id.

El resto de parámetros lo tengo así:

configurar-xml-sitemaps
sitemap

Bajo mi punto de vista, cuando envíes en search console el sitemap, debería quedarte un 100% de urls enviadas e indexadas, esto significa que lo que envías, tiene calidad, y está sano. Ni que decir que podemos comprobar la indexación con site:www.miweb.com en google y el mejor post sobre los comandos en Google, lo hizo el crack de Chuiso, es una lectura muy recomendada tanto el articulo como el blog, es de los que dicen las cosas como son, sin tonterías ni cosas raras y mejor persona si cabe.

Enlaces internos: ¿Quien es el guapo que los hace bien realmente?

Con los enlaces internos nos aseguramos que vamos traspasando la autoridad, también ayudando a Google por medio de los anchor text a dejarle claro cómo identificar nuestras páginas, y es bastante importante, al final la arquitectura web. También para indicarle por donde pasar y por dónde no perder el tiempo.

Realmente te puedo decir que un 90% de las web que veo estan mal, y el resto realmente no sé sabe hasta qué punto lo hacemos mal o yo al menos no puedo asegurarte al 100% como hacerlo perfectamente por ahora, porque hay un punto que no sé aún cómo aclararlo, afrontarlo o probarlo, separando las variables lo mejor posible, aunque tengo mis experiencias y conclusiones que os expondré abajo y es la teoría del primer enlace donde surgen todas las dudas.

¿Que es la teoría del primer enlace?

En resumidas cuentas, Google solo tiene en cuenta el primer enlace con Anchor Text por cada url hacia una misma url, es decir,  tenemos la url A donde solo podremos poner un enlace para la url B, el resto de enlaces para la url B no se tienen en cuenta para traspasar link juice, y quiero hacer un inciso aquí:

[box type=»info»] En los enlaces internos no tienen NINGÚN sentido usar nofollow para PR Sculptin, todos los enlaces, sean como fueren dividen, aunque no traspasen. Si empezamos con un 100% de link juice, y pongo 4 enlaces, 1 follow y 3 nofollow, pasar solo pasa 1 link juice pero pasará el 25% no el 100%, por tanto lo estamos tirando.[/box]

[box type=»warning»]OJO: Para lo que si sirve el rel:nofollow es para mejorar el rastreo y no desperdiciar ni Crawl Rate ni Budget. Así que úsalo para lo que realmente tiene sentido. Por si tienes aún dudas aquí debajo te dejo un video, donde Luis Villanueva lo explica perfectamente y lo deja claro por medio de un experimento.[/box]

Entonces, ¿todos los enlaces del menú?, ¿el del logo?, ¿para qué poner enlaces a esas páginas internas?, ¿breadcrumbs?,  pues en teoría la mayoría de artículos que has leído de enlaces internos, son la mayor mentira, como mucho de lo que sueltan que son la copia, de otra copia que tradujo de un articulo en Ingles y no sé entero ni de la mitad.

Aquí es donde habría que investigar bien, si Google interpreta las etiquetas y diferencia estas partes de los enlaces internos contextuales, que serían los que merecen la pena, ya que un enlace interno o externo sin anchor text, no traspasa pero recordemos que si divide, por tanto… en mi humilde opinión, creo que no las diferencia, y estamos haciendo el tonto con el enlazado interno, puesto que no estamos traspasando ni haciendo nada, solo ayudando al lector, un bien a medias.

[box] No sé si esta técnica sigue funcionando pero se me ocurre que usando acortadores, se podía hace años “trampear”, y pasar link juice. Entonces puesto que ya no seria dos enlaces hacia B sino, B y C porque la segunda url sería diferente (la que usamos con el acortador) aunque acabe también al final en B. ¿Conseguimos darle solución y hacer las cosas bien?, será penalizable?, me estoy volviendo loco?. Ahí lo dejo por ahora.[/box]

Tengo pendiente una llamada con Luis Villanueva que todos conocéis, o deberíais, aquí su bio para quien no lo conozca, un seo de los que investigan y no dice chorradas, donde hablaremos de ésto que estoy seguro que lo habrá investigado o sabe algo al respecto. Aunque ya me ha dado algún apunte en este post así que gracias de nuevo Luis.

[box] En mi opinión y experiencia: Creo que sinceramente depende de la autoridad web el que tenga en cuenta 1, 2 o más enlaces.[/box]

¿Veremos que pasa no?

Si queréis apuntaros a la newsletter de mi blog y os voy avisando de todo :).

18 comentarios en «Ayudando a Google con el Crawleo, indexación y mejorando el Rankeo»

  1. Muy pero que muy buen post ma friend.
    Sigue dándole duro que ya verás…
    Muchas ganas de que saques los siguientes y de ver todas las secciones de la web abiertas.
    Un abrazo

    Responder
  2. Al disminuir el tiempo de carga en una web, estamos disminuyendo el rebound y (en teoría) como consecuencia mejorando el posicionamiento.

    Por otro lado, hay ciertas cosas que son necesarias en una web (ejemplo: breadcrumbs, link en logo, alt en imágenes, etc.) y que hacen que tu web sea «standard» a los ojos del usuario.

    ¿Sería eso importante para que un usuario no haga un rebote? ¿Ayudará eso en el posicionamiento? Creo que esa es la discusión en cuestión aquí…

    Responder
  3. Articulazo.
    Esto es calidad SEO.
    Por cierto desde la versión móvil no me puedo suscribir ?.
    Un abrazo Alvaro

    Responder
  4. Me gusto la redacción pero me deja con mas dudas que aclaraciones, no quiero quitar meritos, al contrario quiero ver el resultado de los experimentos ya que hay muchas suposiciones aun, encantado de dar seguimiento.
    Saludos desde El Salvador….

    Responder
  5. Pocos SEOs explican tan bien este tema. Muy completo, sí señor. Enhorabuena, es un artículo a estudiar.

    Responder
  6. Muy buen artículo Álvaro, no me esperaba menos de ti! como ya te han echado algunas flores yo paso a hacerte una pregunta a ver tu opinión. Enlaces externos ¿nofollow? Como bien comentas el nofollow sigue dividiendo igualmente el LJ, por tanto si tenemos una reseña con varios salientes, ¿tiene algún sentido más allá que evitar que te hagan un posible SPAM en el futuro o que desconfíes, el meterle el nofollow a alguno de esos externos?

    Ahí te lo dejo. Un abrazo crack!

    Responder
  7. Muy buen aporte para entender un poco más el funcionamiento de Google.
    Muchas gracias Álvaro y enhorabuena por el blog.

    Responder
  8. Muy interesante el punto de vista técnico del crawl rate y la optimización del robots.
    Me agrego el blog a favoritos a ver que otra cosa puedo aprender en el futuro.
    Saludos!

    Responder
  9. Magnífico post! Me viene al pelo para las optimizaciones que estoy haciendo.

    Unas preguntas:
    Entiendo que para facilitar la labor al rastreador, es conveniente tener una estructura de directorios y subdirectorios. La duda viene cuando queremos hacerlo con un Woocommerce, teniendo en cuenta la estructura de bases que tiene.

    ¿Es mejor, tal y como recomiendan los creadores del plugin, seguir utilizando las bases en la estructura? http://midominio.com/tienda/categoria/producto

    ¿O es mejor eliminarlas con el riesgo de que al actualizar dé problemas? http://midominio.com/categoria/producto

    En caso de conservarlas, ¿qué bases utilizarías tú?
    Para la tienda ¿tienda o comprar?
    ¿Y para la categoría?
    He visto que varias eCommerces con Woocommerce usan «tienda» como base de tienda y «Tienda» con la T en mayúscula como base categoría, pero no me convence :S

    Con el blog pasa lo mismo. Es conveniente usar el directorio blog para alojar todos los contenidos, mejorar el rastreo y para evitar canibalizar las págs de producto.
    ¿Usarías «blog» como directorio u otra palabra clave que te venga bien tener en todas las urls? No se me ocurre ninguna que valga para todas las urls del blog y que sea aprovechable…

    Como aporte, puede decir que he aumentado las págs rastreadas y los KB descargados en más de un 100% solo reduciendo el número de enlaces en la home y creando una navegación más vertical y secuencial, pero sin cambiar el menú horizontal ni la estructura (aún)

    Espero que las respuestas sirvan a más gente
    Gracias por adelantado
    Un abrazo!

    Responder
  10. Articulazo Alvaro! Este tipo de posts son los que hacen falta. Menos salSEO y más profesionalidad como dice mi amigo Chuiso 😉

    Un abrazo y no faltes a tu cita con el Post 😛

    Responder
    • Eres un crack de los grandes! Tu sabes mucho sobre este tema, así que puedo darme con una gran enhorabuena y me has dado puntos claves a reflexionar, gracias por tu gran aporte de nuevo 🙂 jaja totalmente menos salSEO y más curro!! jaja de Chuiso solo tengo buenas palabras es para mi de los mejores seos y mejor persona aún, un buen amigo!!

      Un fuerte abrazo!! y ahí estaré con los experimentos y mis trasteos 🙂

      Responder
  11. Pero que comentarios más serios todos no????

    Dejate de SEO de una vez y pagate unas cervezas, gaditano agarrao!!!

    Un abrazo crack!!!

    Responder
  12. Wuau!! Y a mi me parecía mucho hacer post de 800 palabras! Jeje.
    Enhorabuena por el artículo, mejor explicado imposible!!
    Eres un jefazo, ya me lo has demostrado en otras ocasiones pero con este artículo me has dejado la boca abierta!!
    Ya estamos esperando el próximo artículo!! Un abrazo jefe!

    Responder
  13. Waoo! ?
    Comparto tus reflexiones y añado algún ingrediente más.

    Aquí tenemos otra cosa con la que jugar referente a «La teoría del primer enlace»
    Poner más de 1 enlace desde «A» hacia «B» utilizando «Id’s»

    4 ejemplos de enlaces con ids

    Son 4 enlaces con distintos anchor text, desde «A» a «B».
    Los 4 pasarán Juice y además ayudarán a definir las distintas Keywords de «B»

    ? Je je je
    ? Felicidades por el Blog

    Responder
  14. Hola Álvaro muchas gracias por compartir un post tan interesante!
    Espero las conclusiones de tus experimentos con urls acortadas.
    Otro blog a favoritos 🙂

    Responder
  15. Me encanta tu blog. Suscripcion al canto.
    Una pregunta que veo apuntada pero que me gustaría que aclaradas un poco más. Comentas «todos los enlaces del menú?, ¿el del logo?, ¿para qué poner enlaces a esas páginas internas?, ¿breadcrumbs?, »
    Si en un ecommerce, en una página de categoria de producto tengo el mismo anchor (ejem»tuercas») en el menú , en el breadcrumb y en un enlace contextual dentro de una descripción de la categoría dirigidose todos a la misma url… ¿de que forma lo optimizarias todo para que fuera más coherente?
    Gracias por todo.

    Responder
    • Muchas gracias por tu comentario y opinión!!!.

      Sinceramente depende de muchos mas factores, pero simplificando, aprovecharia para aumentar las kw relacionadas con esa URL, el menú al final es usabilidad para el usuario, breadcrumbs para facilitar a los bots entender la estructura del site, antiguamente solo se usaban en sitios muy grandes y relevantes porque Google solo mostraba la estructuras para estos en la serp, pero desde hace unos cuantos meses se que también muestran en móvil, la estructura por medio del breadcrumb en la serp te adjunto una imagen.Cambios en la serp por medio de migas de pan Y los enlaces contextuales solo los uso cuando aportan un verdadero valor para el usuario, y mas cuando esa url ya está en el menú, o en otro parte de esa misma pagina.

      De todas formas piensa siempre en la lógica, el sentido común e intenta compaginar todo que tenga uniformidad.

      Responder
  16. Gracias por haberte tomado tu tiempo, Álvaro. Tienes toda la razón, a veces por «optimizar» para las maquinas, uno adopta actitudes mecanicas alejadas del sentido común. Este es humano, como los usuarios y el SEO cada vez es más humano.

    Responder

Deja un comentario

Recaptcha *Límite de tiempo excedido. Por favor complete el captcha otra vez más.