Crawl budget: què és i com optimitzar-lo | Blog SEO Ighenatt

Cada vegada que Googlebot visita el vostre lloc, té un temps limitat. No rastreja totes les vostres pàgines en cada visita: té un pressupost. Si aquest pressupost s’esgota recorrent pàgines duplicades, filtres de cerca interna o URL amb paràmetres irrellevants, les vostres pàgines més importants poden quedar sense rastrejar durant setmanes.

Per a llocs petits, rarament és un problema. Però si gestioneu un ecommerce amb milers de productes, un portal de contingut amb centenars d’articles o un lloc amb generació programàtica de pàgines, el crawl budget determina quant del vostre contingut arriba realment a l’índex de Google.

Què és el crawl budget i per què és important

El crawl budget és la combinació de dos factors que Google fa servir per decidir quantes pàgines rastreja del vostre lloc en un període determinat:

Crawl rate limit: la velocitat màxima a la qual Googlebot pot rastrejar el vostre lloc sense degradar l’experiència dels usuaris. Si el vostre servidor respon lentament o retorna errors 5xx, Google redueix automàticament la freqüència de rastreig per no sobrecarregar-lo.

Crawl demand: l’interès de Google per les vostres URL. Les pàgines populars, freqüentment enllaçades o actualitzades recentment reben més demanda de rastreig. Les pàgines amb poc trànsit, contingut duplicat o baixa qualitat percebuda en reben menys.

El resultat és que Google rastreja un nombre finit de pàgines per visita. Si el vostre lloc té 100.000 URL però Googlebot sols rastreja 5.000 per dia, les pàgines que no entren en aquella selecció diària esperen. Si aquelles pàgines excloses són els vostres productes estrella o el vostre contingut més recent, esteu perdent oportunitats d’indexació i, per extensió, de trànsit orgànic.

Comprendre aquest mecanisme és una part fonamental del SEO tècnic de qualsevol lloc amb un volum significatiu de pàgines.

Factors que influeixen en el crawl budget del vostre lloc

Diversos elements determinen com Google reparteix el seu pressupost de rastreig:

Velocitat del servidor. Un servidor que respon en menys de 200 ms permet a Googlebot rastrejar més pàgines per segon. Un servidor que tarda més d’1 segon per resposta redueix dràsticament el nombre total de pàgines rastreades per sessió.

Estructura d’URL. Les URL amb paràmetres de seguiment, filtres combinables i variants d’ordenació poden multiplicar el nombre d’URL percebudes per Google. Un catàleg d’1.000 productes pot generar 50.000 URL si cada combinació de filtre crea una URL diferent.

Freqüència d’actualització. Les pàgines que canvien freqüentment atrauen més rastreig. Les pàgines estàtiques que no es modifiquen en mesos reben menys visites de Googlebot.

Enllaços interns i externs. Les pàgines ben enllaçades, tant internament com des d’altres llocs, reben més atenció de Googlebot. Una pàgina òrfena (sense enllaços interns que hi apuntin) pot trigar molt més a ser rastreada.

Errors HTTP. Un percentatge alt d’errors 404 o 5xx durant el rastreig redueix la confiança de Google en la qualitat tècnica del lloc, la qual cosa pot disminuir el crawl rate.

Senyals que el vostre crawl budget no està optimitzat

Detectar problemes de crawl budget requereix observar patrons, no esdeveniments aïllats:

• Pàgines noves o actualitzades que triguen setmanes a aparèixer als resultats de Google.
• L’informe de cobertura de Search Console mostra un nombre creixent d’URL «Descobertes, però no indexades».
• Les estadístiques de rastreig mostren que Googlebot dedica temps a URL que no aporten valor SEO (pàgines de filtres, paginació infinita, paràmetres de sessió).
• El ràtio entre pàgines rastreades i pàgines indexades és baix (per sota del 60%).
• URL amb JavaScript que bloqueja la renderització consumeixen rastreig però no lliuren contingut indexable.

Com veure el crawl budget a Google Search Console

Google Search Console ofereix un informe d’estadístiques de rastreig accessible des de Configuració > Estadístiques de rastreig. Aquest informe mostra:

Sol·licituds de rastreig totals: quantes pàgines ha sol·licitat Googlebot per dia. Un gràfic descendent pot indicar problemes de servidor o pèrdua d’interès de Google en el lloc.

Mida total de descàrrega: quantes dades descarrega Googlebot. Si aquest número és alt però les sol·licituds són baixes, les vostres pàgines són pesades i Googlebot gasta amplada de banda en lloc de rastrejar més URL.

Temps mitjà de resposta: quant tarda el vostre servidor a respondre. Valors per sobre de 500 ms són un indicador que el servidor està limitant el crawl rate.

Desglossament per tipus de resposta: quin percentatge de sol·licituds reben 200, 301, 404 o altres codis. Un percentatge significatiu de 3xx o 4xx indica que Googlebot malbarata pressupost en URL que no lliuren contingut útil.

Desglossament per tipus de fitxer: quina proporció del rastreig es dedica a HTML, JavaScript, CSS, imatges. Si Googlebot dedica una part excessiva al rastreig de fitxers estàtics, pot estar descuidant les vostres pàgines de contingut.

7 tècniques per optimitzar el crawl budget

1. Configureu robots.txt per bloquejar seccions sense valor SEO. Filtres de cerca interna, pàgines d’ordenació, àrees d’administració i URL de seguiment no necessiten ser rastreades. Feu servir Disallow a robots.txt per excloure-les.

2. Gestioneu paràmetres d’URL. Si el vostre lloc genera variants d’URL amb paràmetres (?color=vermell&talla=m), implementeu etiquetes canonical cap a la URL principal i considereu fer servir robots.txt per bloquejar les combinacions de filtres.

3. Manteniu el sitemap.xml actualitzat i net. Incloeu sols URL que vulgueu indexar: pàgines amb contingut únic, codi de resposta 200 i sense etiqueta noindex. Elimineu URL obsoletes, redirigides o duplicades.

4. Milloreu la velocitat del servidor. Un TTFB inferior a 200 ms permet a Googlebot rastrejar més pàgines per sessió. Invertiu en memòria cau, CDN i optimització de base de dades abans de pensar en configuracions més avançades.

5. Implementeu una estructura d’enllaços interns eficient. Les pàgines importants han d’estar a un màxim de 3 clics des de la pàgina d’inici. Els enllaços interns distribueixen l’autoritat de rastreig i guien Googlebot cap al contingut prioritari.

6. Elimineu cadenes de redireccions. Cada redirecció consumeix una sol·licitud del crawl budget. Les cadenes de 3 o més redireccions multipliquen el malbaratament. Apunteu sempre al destí final amb una única redirecció 301.

7. Consolideu contingut duplicat. Si teniu diverses URL amb contingut similar (versions www i no-www, HTTP i HTTPS, amb i sense barra final), feu servir canonical tags i redireccions per consolidar-les en una única URL per contingut.

Preguntes freqüents sobre el crawl budget

El crawl budget afecta llocs petits?

Generalment no. Google ha confirmat que els llocs amb menys de uns quants milers d’URL no tenen problemes de crawl budget. El servidor respon ràpidament i Google pot rastrejar totes les pàgines sense restricció. El crawl budget es converteix en un factor crític a partir de 50.000 URL.

Com bloquejar pàgines sense valor del rastreig de Google?

Feu servir robots.txt per bloquejar seccions completes que no aporten valor SEO (com filtres interns, resultats de cerca interna o àrees d’administració). Per a pàgines individuals, feu servir la meta tag noindex si voleu que Google no les mostri però sí les rastregui, o robots.txt si voleu evitar el rastreig completament.

Què és el crawl demand i el crawl rate?

El crawl rate limit és la velocitat màxima a la qual Googlebot pot rastrejar sense sobrecarregar el vostre servidor. El crawl demand és l’interès de Google a rastrejar les vostres URL, basat en la popularitat, la novetat i la qualitat del contingut. Ambdós factors combinats determinen el vostre crawl budget efectiu.

Si sospiteu que Googlebot no rastreja les vostres pàgines més importants o que el vostre crawl budget es malbarata en URL irrellevants, necessiteu un diagnòstic tècnic. Contacteu amb el nostre equip per auditar el rastreig del vostre lloc i dissenyar una estratègia que dirigeixi Googlebot cap a les pàgines que realment importen.