\u00bfQu\u00e9 es el presupuesto de rastreo?<\/h1>\n\n\n\n
El presupuesto de rastreo se refiere a la cantidad de p\u00e1ginas que los rastreadores de motores de b\u00fasqueda (es decir, spiders y bots) visitan dentro de un per\u00edodo de tiempo determinado.<\/p>\n\n\n\n
Existen ciertas consideraciones que influyen en el presupuesto de rastreo, como un equilibrio tentativo entre los intentos de Googlebot de no sobrecargar tu servidor y el deseo general de Google de rastrear tu dominio.<\/p>\n\n\n\n
La optimizaci\u00f3n del presupuesto de rastreo es una serie de pasos que puedes tomar para aumentar la eficiencia y la frecuencia con la que los bots de los motores de b\u00fasqueda visitan tus p\u00e1ginas.<\/p>\n\n\n\n
\u00bfPor qu\u00e9 es importante la optimizaci\u00f3n del presupuesto de rastreo?<\/h1>\n\n\n\n
El rastreo es el primer paso para aparecer en los resultados de b\u00fasqueda. Sin ser rastreadas, las nuevas p\u00e1ginas y las actualizaciones de p\u00e1ginas no se a\u00f1adir\u00e1n a los \u00edndices de los motores de b\u00fasqueda.<\/p>\n\n\n\n
Cuanto m\u00e1s frecuentemente los rastreadores visiten tus p\u00e1ginas, m\u00e1s r\u00e1pido aparecer\u00e1n las actualizaciones y nuevas p\u00e1ginas en el \u00edndice. Como resultado, tus esfuerzos de optimizaci\u00f3n tardar\u00e1n menos en surtir efecto y empezar a influir en tus rankings.<\/p>\n\n\n\n
El \u00edndice de Google contiene cientos de miles de millones de p\u00e1ginas y sigue creciendo cada d\u00eda. A los motores de b\u00fasqueda les cuesta rastrear cada URL, y con el creciente n\u00famero de sitios web, quieren reducir los costos computacionales y de almacenamiento al disminuir la tasa de rastreo y la indexaci\u00f3n de URLs.<\/p>\n\n\n\n
Tambi\u00e9n hay una creciente urgencia por reducir las emisiones de carbono para combatir el cambio clim\u00e1tico, y Google tiene una estrategia a largo plazo para mejorar la sostenibilidad y reducir las emisiones de carbono.<\/p>\n\n\n\n
Estas prioridades podr\u00edan hacer que en el futuro sea m\u00e1s dif\u00edcil que los sitios web sean rastreados de manera efectiva. Aunque el presupuesto de rastreo no es algo de lo que debas preocuparte si tienes sitios web peque\u00f1os con unas pocas cientos de p\u00e1ginas, la gesti\u00f3n de recursos se convierte en un tema importante para sitios web masivos. Optimizar el presupuesto de rastreo significa hacer que Google rastree tu sitio web utilizando la menor cantidad de recursos posible.<\/p>\n\n\n\n
As\u00ed que, hablemos de c\u00f3mo puedes optimizar tu presupuesto de rastreo en el mundo actual.<\/p>\n\n\n\n
1. Prohibir el rastreo de URLs de acci\u00f3n en el archivo Robots.txt.<\/h2>\n\n\n\n
Puede que te sorprenda, pero Google ha confirmado que prohibir URLs no afectar\u00e1 tu presupuesto de rastreo. Esto significa que Google seguir\u00e1 rastreando tu sitio web a la misma velocidad. Entonces, \u00bfpor qu\u00e9 lo discutimos aqu\u00ed?<\/p>\n\n\n\n
Bueno, si prohibes URLs que no son importantes, b\u00e1sicamente le est\u00e1s diciendo a Google que rastree las partes \u00fatiles de tu sitio web a una velocidad m\u00e1s alta.<\/p>\n\n\n\n
Por ejemplo, si tu sitio web tiene una funci\u00f3n de b\u00fasqueda interna con par\u00e1metros de consulta como \/?q=google, Google rastrear\u00e1 estas URLs si est\u00e1n enlazadas desde alg\u00fan lugar.<\/p>\n\n\n\n
De manera similar, en un sitio de comercio electr\u00f3nico, podr\u00edas tener filtros de facetas que generan URLs como \/?color=red&size=s.<\/p>\n\n\n\n
Estos par\u00e1metros de cadena de consulta pueden crear un n\u00famero infinito de combinaciones \u00fanicas de URL que Google puede intentar rastrear.<\/p>\n\n\n\n
Esas URLs, b\u00e1sicamente, no tienen contenido \u00fanico y solo filtran los datos que tienes, lo cual es excelente para la experiencia del usuario, pero no para Googlebot.<\/p>\n\n\n\n
Permitir que Google rastree estas URLs desperdicia el presupuesto de rastreo y afecta la rastreabilidad general de tu sitio web. Al bloquearlas mediante reglas en robots.txt, Google enfocar\u00e1 sus esfuerzos de rastreo en p\u00e1ginas m\u00e1s \u00fatiles de tu sitio.<\/p>\n\n\n\n
Aqu\u00ed te mostramos c\u00f3mo bloquear la b\u00fasqueda interna, facetas o cualquier URL que contenga cadenas de consulta a trav\u00e9s de robots.txt<\/a>:<\/p>\n\n\n\n Cada regla proh\u00edbe cualquier URL que contenga el par\u00e1metro de consulta respectivo, sin importar otros par\u00e1metros que puedan estar presentes.<\/p>\n\n\n\n <\/p>\n\n\n\n Este enfoque ayuda a evitar la redundancia y asegura que las URLs con estos par\u00e1metros de consulta espec\u00edficos sean bloqueadas de ser rastreadas por los motores de b\u00fasqueda.<\/p>\n\n\n\n Sin embargo, ten en cuenta que este m\u00e9todo garantiza que cualquier URL que contenga los caracteres indicados ser\u00e1 prohibida sin importar d\u00f3nde aparezcan los caracteres. Esto puede llevar a prohibiciones no intencionadas. Por ejemplo, los par\u00e1metros de consulta que contienen un solo car\u00e1cter bloquear\u00e1n cualquier URL que contenga ese car\u00e1cter, independientemente de d\u00f3nde aparezca. Si prohibes \u2018s\u2019, las URLs que contienen \u2018\/?pages=2\u2019 ser\u00e1n bloqueadas porque *?*s= tambi\u00e9n coincide con \u2018?pages=\u2019. Si deseas prohibir URLs con un car\u00e1cter espec\u00edfico, puedes usar una combinaci\u00f3n de reglas:<\/p>\n\n\n\n <\/p>\n\n\n\n El cambio cr\u00edtico es que no hay un asterisco \u2018*\u2019 entre los caracteres \u2018?\u2019 y \u2018s\u2019. Este m\u00e9todo te permite prohibir par\u00e1metros \u2018s\u2019 espec\u00edficos y exactos en las URLs, pero necesitar\u00e1s agregar cada variaci\u00f3n de manera individual.<\/p>\n\n\n\n Aplica estas reglas a tus casos de uso espec\u00edficos para cualquier URL que no proporcione contenido \u00fanico. Por ejemplo, en caso de que tengas botones de lista de deseos con URLs \u201c?add_to_wishlist=1\u201d, necesitas prohibirlos mediante la regla:<\/p>\n\n\n\n <\/p>\n\n\n\n Esto es algo obvio y un primer paso natural y m\u00e1s importante recomendado por Google.<\/p>\n\n\n\n Un ejemplo a continuaci\u00f3n muestra c\u00f3mo bloquear esos par\u00e1metros ayud\u00f3 a reducir el rastreo de p\u00e1ginas con cadenas de consulta. Google estaba tratando de rastrear decenas de miles de URLs con diferentes valores de par\u00e1metros que no ten\u00edan sentido, lo que conduc\u00eda a p\u00e1ginas inexistentes.<\/p>\n\n\n\n Sin embargo, a veces las URLs prohibidas pueden ser rastreadas e indexadas por los motores de b\u00fasqueda. Esto puede parecer extra\u00f1o, pero generalmente no es motivo de alarma. Usualmente significa que otros sitios web enlazan a esas URLs.<\/p>\n\n\n\n Google confirm\u00f3 que la actividad de rastreo disminuir\u00e1 con el tiempo en estos casos.<\/p>\n\n\n\n Otro beneficio importante de bloquear estas URLs a trav\u00e9s de robots.txt es el ahorro de recursos del servidor. Cuando una URL contiene par\u00e1metros que indican la presencia de contenido din\u00e1mico, las solicitudes ir\u00e1n al servidor en lugar de a la cach\u00e9. Esto aumenta la carga en tu servidor con cada p\u00e1gina rastreada.<\/p>\n\n\n\n Por favor, recuerda no usar la \u00abmetaetiqueta noindex\u00bb para bloquear, ya que Googlebot tiene que realizar una solicitud para ver la meta etiqueta o el c\u00f3digo de respuesta HTTP, lo que desperdicia el presupuesto de rastreo.<\/p>\n\n\n\n Adem\u00e1s de prohibir URLs de acci\u00f3n, es posible que desees prohibir archivos JavaScript que no sean parte del dise\u00f1o o la renderizaci\u00f3n del sitio web.<\/p>\n\n\n\n Por ejemplo, si tienes archivos JavaScript responsables de abrir im\u00e1genes en una ventana emergente cuando los usuarios hacen clic, puedes prohibirlos en robots.txt para que Google no desperdicie presupuesto rastre\u00e1ndolos.<\/p>\n\n\n\n Aqu\u00ed tienes un ejemplo de la regla de prohibici\u00f3n para un archivo JavaScript:<\/p>\n\n\n\n Prohibir: \/assets\/js\/popup.js<\/strong><\/p>\n\n\n\n Sin embargo, nunca debes prohibir recursos que sean parte de la renderizaci\u00f3n. Por ejemplo, si tu contenido se carga din\u00e1micamente a trav\u00e9s de JavaScript, Google necesita rastrear los archivos JS para indexar el contenido que cargan.<\/p>\n\n\n\n Otro ejemplo son los puntos finales de la API REST para env\u00edos de formularios. Supongamos que tienes un formulario con la URL de acci\u00f3n \u201c\/rest-api\/form-submissions\/\u201d.<\/p>\n\n\n\n Potencialmente, Google puede rastrearlos. Esas URLs no est\u00e1n relacionadas con la renderizaci\u00f3n y ser\u00eda una buena pr\u00e1ctica bloquearlas.<\/p>\n\n\n\n Prohibir: \/rest-api\/form-submissions\/<\/strong><\/p>\n\n\n\n Sin embargo, los CMS sin cabeza (headless CMS) a menudo utilizan APIs REST para cargar contenido din\u00e1micamente, as\u00ed que aseg\u00farate de no bloquear esos puntos finales.<\/p>\n\n\n\n En resumen, identifica lo que no est\u00e9 relacionado con la renderizaci\u00f3n y bloqu\u00e9alo.<\/p>\n\n\n\n Las cadenas de redirecci\u00f3n ocurren cuando m\u00faltiples URLs redirigen a otras URLs que tambi\u00e9n redirigen. Si esto se prolonga demasiado, los rastreadores pueden abandonar la cadena antes de llegar al destino final.<\/p>\n\n\n\n La URL 1 redirige a la URL 2, que a su vez redirige a la URL 3, y as\u00ed sucesivamente. Las cadenas tambi\u00e9n pueden tomar la forma de bucles infinitos cuando las URLs se redirigen entre s\u00ed.<\/p>\n\n\n\n Evitar estas cadenas es un enfoque de sentido com\u00fan para la salud del sitio web.<\/p>\n\n\n\n Idealmente, deber\u00edas poder evitar tener incluso una sola cadena de redirecci\u00f3n en todo tu dominio.<\/p>\n\n\n\n Pero puede ser una tarea imposible para un sitio web grande; las redirecciones 301 y 302 est\u00e1n destinadas a aparecer, y no puedes corregir redirecciones de backlinks entrantes simplemente porque no tienes control sobre sitios web externos.<\/p>\n\n\n\n Una o dos redirecciones aqu\u00ed y all\u00e1 puede que no causen mucho da\u00f1o, pero las cadenas largas y los bucles pueden volverse problem\u00e1ticos.<\/p>\n\n\n\n Para solucionar problemas de cadenas de redirecci\u00f3n, puedes usar una de las herramientas de SEO como Screaming Frog, Lumar o Oncrawl para encontrar cadenas.<\/p>\n\n\n\n Cuando descubras una cadena, la mejor manera de solucionarlo es eliminar todas las URLs entre la primera p\u00e1gina y la p\u00e1gina final. Si tienes una cadena que pasa por siete p\u00e1ginas, redirige la primera URL directamente a la s\u00e9ptima.<\/p>\n\n\n\n Otra excelente manera de reducir las cadenas de redirecci\u00f3n es reemplazar las URLs internas que redirigen con destinos finales en tu CMS.<\/p>\n\n\n\n Dependiendo de tu CMS, puede haber diferentes soluciones disponibles; por ejemplo, puedes usar este plugin para WordPress. Si tienes un CMS diferente, es posible que necesites usar una soluci\u00f3n personalizada o pedirle a tu equipo de desarrollo que lo haga.<\/p>\n\n\n\n Ahora, si estamos hablando de Google, su rastreador utiliza la versi\u00f3n m\u00e1s reciente de Chrome y es capaz de ver el contenido cargado por JavaScript sin problemas.<\/p>\n\n\n\n Pero pensemos cr\u00edticamente. \u00bfQu\u00e9 significa eso? Googlebot rastrea una p\u00e1gina y recursos como JavaScript, y luego gasta m\u00e1s recursos computacionales para renderizarlos.<\/p>\n\n\n\n Recuerda que los costos computacionales son importantes para Google, y quiere reducirlos tanto como sea posible.<\/p>\n\n\n\n Entonces, \u00bfpor qu\u00e9 renderizar contenido a trav\u00e9s de JavaScript (del lado del cliente) y agregar un costo computacional adicional para que Google rastree tus p\u00e1ginas?<\/p>\n\n\n\n Por eso, siempre que sea posible, deber\u00edas apegarte al HTML.<\/p>\n\n\n\n De esa manera, no est\u00e1s perjudicando tus oportunidades con ning\u00fan rastreador.<\/p>\n\n\n\n Como discutimos anteriormente, Googlebot rastrea y renderiza p\u00e1ginas con JavaScript, lo que significa que, si gasta menos recursos para renderizar p\u00e1ginas web, ser\u00e1 m\u00e1s f\u00e1cil para \u00e9l rastrearlas, lo cual depende de qu\u00e9 tan bien optimizada est\u00e9 la velocidad de tu sitio web.<\/p>\n\n\n\n Google dice:<\/p>\n\n\n\n El rastreo de Google est\u00e1 limitado por el ancho de banda, el tiempo y la disponibilidad de las instancias de Googlebot. Si tu servidor responde a las solicitudes m\u00e1s r\u00e1pidamente, es posible que podamos rastrear m\u00e1s p\u00e1ginas de tu sitio.<\/p>\n<\/blockquote>\n\n\n\n Por lo tanto, utilizar la renderizaci\u00f3n del lado del servidor ya es un gran paso hacia la mejora de la velocidad de carga de la p\u00e1gina, pero necesitas asegurarte de que tus m\u00e9tricas de Core Web Vitals est\u00e9n optimizadas, especialmente el tiempo de respuesta del servidor.<\/p>\n\n\n\n Google rastrea URLs que est\u00e1n en la p\u00e1gina, y siempre ten en cuenta que diferentes URLs son contadas por los rastreadores como p\u00e1ginas separadas.<\/p>\n\n\n\n Si tienes un sitio web con la versi\u00f3n \u2018www\u2019, aseg\u00farate de que tus URLs internas, especialmente en la navegaci\u00f3n, apunten a la versi\u00f3n can\u00f3nica, es decir, a la versi\u00f3n \u2018www\u2019 y viceversa.<\/p>\n\n\n\n Otro error com\u00fan es no incluir una barra inclinada al final. Si tus URLs tienen una barra inclinada al final, aseg\u00farate de que tus URLs internas tambi\u00e9n la tengan.<\/p>\n\n\n\n De lo contrario, las redirecciones innecesarias, por ejemplo, de \u201chttps:\/\/www.example.com\/sample-page\u201d a \u201chttps:\/\/www.example.com\/sample-page\/\u201d, resultar\u00e1n en dos rastreos por URL.<\/p>\n\n\n\n Otro aspecto importante es evitar p\u00e1ginas de enlaces internos rotos, que pueden consumir tu presupuesto de rastreo y causar p\u00e1ginas soft 404.<\/p>\n\n\n\n \u00a1Y si eso no fuera suficiente, tambi\u00e9n perjudican la experiencia del usuario!<\/p>\n\n\n\n En este caso, de nuevo, estoy a favor de usar una herramienta para auditor\u00eda del sitio web.<\/p>\n\n\n\n WebSite Auditor, Screaming Frog, Lumar o Oncrawl, y SE Ranking son ejemplos de excelentes herramientas para una auditor\u00eda del sitio web.<\/p>\n\n\n\n Una vez m\u00e1s, es realmente beneficioso cuidar de tu sitemap XML.<\/p>\n\n\n\n Los bots tendr\u00e1n una comprensi\u00f3n mucho mejor y m\u00e1s f\u00e1cil de hacia d\u00f3nde conducen los enlaces internos.<\/p>\n\n\n\n Utiliza solo las URLs que son can\u00f3nicas para tu sitemap.<\/p>\n\n\n\n Adem\u00e1s, aseg\u00farate de que corresponda a la versi\u00f3n m\u00e1s reciente de robots.txt que se haya subido y que se cargue r\u00e1pidamente.<\/p>\n\n\n\n Al rastrear una URL, Googlebot env\u00eda una fecha a trav\u00e9s del encabezado \u201cIf-Modified-Since\u201d, que es informaci\u00f3n adicional sobre la \u00faltima vez que rastre\u00f3 la URL dada.<\/p>\n\n\n\n Si tu p\u00e1gina web no ha cambiado desde entonces (especificado en \u201cIf-Modified-Since\u201d), puedes devolver el c\u00f3digo de estado \u201c304 Not Modified\u201d sin cuerpo de respuesta. Esto le indica a los motores de b\u00fasqueda que el contenido de la p\u00e1gina web no ha cambiado, y Googlebot puede utilizar la versi\u00f3n de la \u00faltima visita que tiene en el archivo.<\/p>\n\n\n\n Imagina cu\u00e1ntos recursos del servidor puedes ahorrar mientras ayudas a Googlebot a ahorrar recursos cuando tienes millones de p\u00e1ginas web. Bastante significativo, \u00bfverdad?<\/p>\n\n\n\n\n
\n
\n
\n
![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/crawl-stats-227-1024x432.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/indexing-spike-413-1024x539.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/john-841.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n1.2. Prohibir URLs de Recursos No Importantes en Robots.txt<\/h3>\n\n\n\n
2. Cuidado con las cadenas de redirecci\u00f3n.<\/h2>\n\n\n\n
3. Utiliza Renderizaci\u00f3n del Lado del Servidor (HTML) Siempre que Sea Posible.<\/h2>\n\n\n\n
4. Mejora la Velocidad de Carga de la P\u00e1gina<\/h2>\n\n\n\n
\n
5. Cuida tus Enlaces Internos<\/h2>\n\n\n\n
6. Actualiza tu Sitemap<\/h2>\n\n\n\n
7. Implementa el C\u00f3digo de Estado 304<\/h2>\n\n\n\n
![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/304-response-code-explained-748.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n
![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/304-gary-125-680x546-1.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/swipeup.biz\/magazine\/wp-content\/uploads\/2024\/09\/crawl-stats-spikes-439-680x503-1.webp\" "\\"\\"")
<\/a><\/figure>\n\n\n\n