Com detectar i gestionar GPTBot, ClaudeBot i altres bots IA als logs del servidor?
Els bots IA d'OpenAI (GPTBot), Anthropic (ClaudeBot), Perplexity (PerplexityBot) i Google (Google-Extended) rastregen el teu web de manera contínua, però Google Analytics i qualsevol sistema de mètriques basat en JavaScript són completament cecs a aquest trànsit perquè els bots no executen JavaScript. L'únic mètode fiable de detecció és l'anàlisi dels logs d'accés del servidor (Apache, Nginx o registres de CDN com Cloudflare). En aquests logs, cada petició apareix amb l'agent d'usuari del bot corresponent: 'GPTBot/1.2', 'ClaudeBot/0.1', 'PerplexityBot/1.0'. Un cop detectats, la decisió de bloquejar o permetre és estratègica, no tècnica: un estudi de BuzzStream de març de 2026 sobre 4 milions de cites en LLMs va descobrir que el 95% dels llocs citats bloquejaven els bots d'entrenament, i el 70% de les cites de ChatGPT provenien de llocs que bloquejaven el seu bot de recuperació. Bloquejar els bots d'entrenament amb robots.txt no redueix significativament les cites en LLMs; bloquejar els bots de recuperació sí pot tenir impacte en temps real.
Idees clau
- El 95% de tots els llocs citats per LLMs bloquejaven els bots d'entrenament (GPTBot, Google-Extended) segons l'estudi BuzzStream de 4 milions de cites de març de 2026.
- GPTBot va créixer un 305% en peticions entre maig 2024 i maig 2025; Anthropic va rastrejar 38.000 pàgines per cada visita referida el juliol de 2025, segons dades de Cloudflare Radar.
- Google Analytics és cec al trànsit de bots IA perquè no executen JavaScript; l'únic mètode de detecció fiable és l'anàlisi de logs d'accés del servidor o els registres de CDN.
- llms.txt va ser implementat per més de 844.000 llocs a l'octubre de 2025, però cap proveïdor LLM principal ha confirmat oficialment que els seus crawlers el llegeixin de manera consistent.
- Els bots IA generen el 4,2% de totes les peticions HTML a la xarxa Cloudflare (2025), equivalent a 50.000 milions de peticions diàries globals, de les quals el 80% són per a entrenament.
Google Analytics mostra zero visites. Els logs del servidor mostren milers de peticions. La bretxa entre totes dues mètriques, que abans indicava trànsit de spam o Googlebot, ara inclou un tercer actor que cap dashboard d’analítica no rastreja per defecte: els bots dels models d’IA.
Entre febrer i març de 2026, l’empresa d’AI Visibility WISLR va analitzar 48 dies de logs de servidor i va documentar 12.099 peticions de bots IA en aquell període. El bot més actiu no va ser GPTBot: va ser Meta-WebIndexer, amb 1.833 peticions, seguit de ChatGPT-User (923), Claude-SearchBot (549) i PerplexityBot (456). GPTBot només va contribuir 187 peticions directes, però el seu pes en l’impacte en l’entrenament de models és desproporcionat al volum de peticions.
La mateixa anàlisi va detectar un comportament que revela com aquests sistemes coordinen el descobriment de contingut: el 18 i 19 de març de 2026, ClaudeBot i GPTBot van sol·licitar el fitxer sitemap.xml el mateix dia, des d’empreses distintes i sense vinculació tècnica aparent. Un senyal que els estàndards de descobriment de contingut per a LLMs estan convergint silenciosament.
Bots IA que rastregen la teva web el 2026: user-agents
La primera tasca per gestionar el trànsit de bots IA és saber exactament quins visiten el teu lloc i amb quin propòsit. Cada empresa té múltiples bots amb rols distints: entrenament de models, indexació per a cerca en temps real i peticions iniciades pels usuaris.
OpenAI opera tres bots documentats: GPTBot (entrenament de models, user-agent: GPTBot/1.2), OAI-SearchBot (indexació per a ChatGPT Search) i ChatGPT-User (peticions en temps real iniciades per usuaris de ChatGPT). La distinció és crítica: bloquejar GPTBot afecta l’entrenament futur però no les cites a ChatGPT Search, que usa OAI-SearchBot.
Anthropic té la mateixa estructura tripartita: ClaudeBot (entrenament, ClaudeBot/0.1), Claude-SearchBot (indexació per a cerca a Claude.ai) i Claude-User (peticions d’usuaris). Els tres estan documentats a support.anthropic.com.
Perplexity distingeix entre PerplexityBot (indexació periòdica) i Perplexity-User (recuperació en temps real per consulta d’usuari), tots dos a docs.perplexity.ai.
Google afegeix Google-Extended al catàleg habitual de Googlebot: aquest bot controla específicament l’ús del contingut per entrenar Gemini i Vertex AI, de manera independent a la indexació de cerca. Bloquejar-lo amb Disallow: / per a User-agent: Google-Extended no afecta el rànquing orgànic.
La resta de l’ecosistema inclou CCBot (Common Crawl, base d’entrenament de molts LLMs), Applebot-Extended (Apple Intelligence), Amazonbot (Alexa AI), Bytespider (ByteDance) i més d’una dotzena d’agents addicionals sense documentació oficial pública.
Com detectar bots IA als logs del servidor
El log d’accés d’Apache o Nginx registra cada petició HTTP amb el timestamp, IP d’origen, URL sol·licitada, codi de resposta i user-agent del client. És l’única font que veu el trànsit de bots IA en la seva totalitat, perquè — a diferència de Google Analytics — no depèn de JavaScript.
Per filtrar exclusivament el trànsit de GPTBot en un log de Nginx:
grep "GPTBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Aquesta ordre retorna les 20 URLs més rastreges per GPTBot, ordenades per freqüència. Substituint "GPTBot" per qualsevol user-agent de la llista anterior, obtens la mateixa anàlisi per a ClaudeBot, PerplexityBot o Google-Extended.
Per als usuaris de Cloudflare, el tauler d’Analytics sota “Security > Bots” mostra trànsit de bots amb classificació automàtica, tot i que agrupa categories. Els Cloudflare Workers Logs i l’accés als logs de CDN des de l’API ofereixen més granularitat si necessites distingir entre bot d’entrenament i bot de recuperació.
Les eines especialitzades, com GoAccess per a visualització de logs en temps real o Screaming Frog Log Analyser, permeten carregar els logs i segmentar per user-agent amb interfície gràfica, útil per a webs amb volums alts on l’anàlisi amb grep es torna lenta.
A diferència de l’anàlisi de logs per a Googlebot, on el focus està en el pressupost de rastreig i el comportament d’indexació, l’anàlisi de logs de bots IA busca respondre tres preguntes distintes: quant rastregen, quines pàgines prioritzen i si el tipus de bot (entrenament vs. recuperació) que domina el trànsit condiciona les decisions de bloqueig.
GPTBot vs. ClaudeBot: freqüència de rastreig i comportament
Les dades de Cloudflare Radar mostren que GPTBot va créixer un 305% en volum de peticions entre maig de 2024 i maig de 2025, passant del 4,7% a l’11,7% del share de crawlers en aquell període. En el mateix interval, el trànsit de Googlebot també va créixer un 96%, senyal que l’ecosistema de bots s’està expandint globalment, no desplaçant-se.
La diferència de comportament més destacada és el ràtio crawl-to-referral: quantes pàgines rastreja un bot per cada visita real que envia al lloc. Per a Googlebot, aquest ràtio oscil·la entre 3:1 i 30:1 segons el tipus de lloc. Per a Anthropic, Cloudflare va documentar el juliol de 2025 un ràtio de 38.000:1 — 38.000 pàgines rastreges per cada visita referida a llocs externs. Aquesta dada explica per què molts webmasters veuen pics de trànsit de ClaudeBot als logs sense cap visita referida corresponent a Analytics.
El comportament de GPTBot s’assembla més a un rastreig d’indexació tradicional: rastreig incremental, respecte del crawl-delay a robots.txt quan s’especifica, i preferència per pàgines d’alta autoritat segons les anàlisis de tercers. ClaudeBot té un patró més agressiu d’exploració en profunditat, especialment en llocs amb arquitectura de contingut densa.
Quant a la distribució per tipus de contingut, els bots IA mostren preferència per articles amb estructura H2-H3 clara, dades estadístiques, taules comparatives i seccions de FAQ, exactament els formats que també prefereixen els algoritmes de citació dels LLMs. L’anàlisi del teu robots.txt davant l’impacte de la IA en el posicionament i el rastreig és una combinació que determina quina part del teu contingut està disponible per ser citada.
Bloquejar o permetre? La decisió estratègica
L’estudi més rellevant sobre aquesta pregunta és el de BuzzStream, publicat el març de 2026 i basat en 4 milions de cites analitzades a ChatGPT, Gemini, AI Overviews i AI Mode. La troballa principal contradiu la intuïció: el 95% de tots els llocs citats bloquejaven almenys un bot d’entrenament amb robots.txt, i el 70% de les cites de ChatGPT provenien de llocs que bloquejaven específicament el bot de recuperació de ChatGPT.
L’explicació tècnica és que molts sistemes de recuperació IA no arriben al servidor d’origen: extreuen dades de snippets de SERP (títol, URL, fragment indexat per Google) o de versions en memòria cau del contingut. El bloqueig via robots.txt és parcialment ineficaç perquè les dades ja eren als datasets d’entrenament o a la memòria cau de Google abans del bloqueig.
La recomanació operativa distingeix entre dos tipus de decisió. Per als bots d’entrenament (GPTBot, ClaudeBot, Google-Extended, CCBot): el bloqueig protegeix el contingut de ser usat en futurs cicles d’entrenament, però no afecta les cites a les versions actuals dels models. Si el contingut és sensible o propietari, el bloqueig té sentit; si és contingut públic de màrqueting, el cost d’oportunitat pot superar el benefici.
Per als bots de recuperació (OAI-SearchBot, Claude-SearchBot, PerplexityBot): aquests bots alimenten els sistemes de cerca en temps real de cada LLM. Bloquejar-los sí redueix la probabilitat de ser citat en respostes a preguntes recents. Per als webs que volen maximitzar la citabilitat en IA, aquests bots han d’estar permesos.
llms.txt: el protocol que competeix amb robots.txt per la IA
Quan Jeremy Howard va publicar l’especificació de llms.txt el setembre de 2024, la premissa era simple: igual com robots.txt diu als crawlers què no rastrejar, llms.txt diu als LLMs què llegir primer. El format és Markdown pla a l’arrel del domini, amb una descripció del lloc i una llista estructurada de recursos rellevants amb les seves URLs i descripcions.
# Ighenatt — Agencia SEO Barcelona
> Agencia SEO especializada en técnico, contenido y IA generativa.
## Blog SEO
- [Entity SEO y Knowledge Graph](/blog/entity-seo-optimizacion-entidades-ia/): Construir marca como entidad
- [Guía de auditoría SEO técnica](/blog/guia-auditorias-seo-tecnicas/): Proceso paso a paso
## Recursos
- [Recursos SEO](/recursos/): Guías técnicas descargablesA l’octubre de 2025, més de 844.000 llocs tenien llms.txt implementat, incloent-hi la pròpia Anthropic i Cloudflare. El problema és el compliment: cap proveïdor LLM principal ha confirmat que els seus crawlers llegeixin llms.txt de manera consistent. Anthropic va reconèixer en documentació interna que “els seus sistemes el consideren quan existeix”, sense més precisió tècnica. OpenAI i Google no han fet declaracions públiques sobre el seu ús de l’estàndard.
La diferència fonamental amb robots.txt és que aquest últim té conseqüències immediates i verificables (en 24-48 hores pots confirmar a Search Console que Googlebot respecta el bloqueig); llms.txt no disposa d’aquest mecanisme de verificació. Tanmateix, el cost d’implementació és mínim i el risc és zero: si en el futur els LLMs comencen a seguir-lo de manera consistent, els llocs que ja el tinguin implementat tindran avantatge estructural sense esforç addicional.
Impacte en les cites IA: checklist tècnic per a 2026
La decisió final sobre què bloquejar depèn de l’objectiu de negoci i del tipus de contingut. La taula de decisió següent s’aplica a la majoria de webs d’empreses i agències:
Per al contingut de màrqueting i blog públic: permetre tots els bots de recuperació, avaluar el bloqueig dels bots d’entrenament segons la política d’ús del contingut. Implementar llms.txt amb els recursos més rellevants.
Per a eines o contingut amb avantatge competitiu tècnic: bloquejar bots d’entrenament (GPTBot, ClaudeBot, Google-Extended), permetre bots de recuperació. Afegir X-Robots-Tag: noai als headers HTTP de les pàgines amb contingut sensible.
Per a webs de notícies o amb contingut d’actualitat: permetre tots els bots de recuperació per maximitzar cites en respostes a preguntes recents. El model de negoci de citabilitat IA compensa el cost del rastreig.
El pas següent és el SEO programàtic per generar sistemàticament el tipus de contingut que els bots de recuperació prioritzen: pàgines amb estructura clara, dades verificables i respostes directes a preguntes d’alta freqüència de cerca.
Fonts i referències
-
Overview of OpenAI Crawlers (GPTBot, ChatGPT-User, OAI-SearchBot) (platform.openai.com)
-
Does Anthropic crawl data from the web? (ClaudeBot documentation) (support.anthropic.com)
-
Perplexity Crawlers (PerplexityBot documentation) (docs.perplexity.ai)
-
From Googlebot to GPTBot: who's crawling your site in 2025 (blog.cloudflare.com)
-
Meet llms.txt, a proposed standard for AI website content crawling (searchengineland.com)
Comparteix aquest article
Si t'ha resultat útil aquest contingut, comparteix-lo amb els teus col·legues.
Preguntes Freqüents
Per què Google Analytics no registra el trànsit de GPTBot i ClaudeBot?
Google Analytics, juntament amb qualsevol sistema d'analítica que funcioni mitjançant una etiqueta JavaScript (GA4, Matomo, Plausible amb JS), opera interceptant l'execució de l'script de seguiment al navegador del visitant. Els bots IA no són navegadors: són clients HTTP que fan peticions directes al servidor per obtenir l'HTML cru de les pàgines. No executen JavaScript, no carreguen scripts externs i no disparen esdeveniments de seguiment. Des de la perspectiva de Google Analytics, una visita de GPTBot és invisible — no existeix als informes de trànsit, no afecta les taxes de rebot i no apareix als informes de sessions. L'únic sistema capaç de registrar aquestes visites és el log d'accés del servidor, que registra cada petició HTTP independentment de si inclou JavaScript o no. Cloudflare i altres CDNs també registren aquestes peticions als seus logs, accessibles des del tauler de gestió. Si només mires Analytics per entendre qui visita el teu web, estàs veient una fracció del trànsit real que els teus servidors processen.
Bloquejar GPTBot perjudica el posicionament a les respostes de ChatGPT?
Segons les dades disponibles, bloquejar els bots d'entrenament com GPTBot té un impacte limitat en les cites de ChatGPT. L'estudi de BuzzStream (març 2026, 4 milions de cites analitzades) va trobar que el 70% de totes les cites de ChatGPT provenien de llocs que bloquejaven específicament el bot de recuperació de ChatGPT (OAI-SearchBot o ChatGPT-User). La raó tècnica és que els models de llenguatge com GPT-4 s'entrenen amb dades històriques de Common Crawl i altres fonts, i aquest entrenament no s'actualitza en temps real amb cada visita de GPTBot. Tanmateix, per a ChatGPT Search (el mode de cerca en temps real), sí importa permetre el bot de recuperació (OAI-SearchBot, ChatGPT-User), que és diferent del bot d'entrenament (GPTBot). La recomanació pràctica: bloquejar GPTBot no protegeix el teu contingut de l'entrenament previ, però pot reduir la càrrega del servidor. Bloquejar OAI-SearchBot sí pot reduir les cites en el mode de cerca en temps real de ChatGPT.
Què és llms.txt i val la pena implementar-lo ara?
llms.txt és un fitxer Markdown en text pla situat a l'arrel del domini (elteudomi.com/llms.txt) que guia els models de llenguatge cap als recursos més rellevants i autoritzats del lloc, amb una estructura similar a un README simplificat. Ho va proposar Jeremy Howard (co-creador de fast.ai) el setembre de 2024. A l'octubre de 2025, més de 844.000 llocs l'havien implementat, incloent-hi la pròpia Anthropic i Cloudflare. La pregunta pràctica és si val la pena: cap proveïdor LLM principal (OpenAI, Anthropic, Google) ha confirmat oficialment que els seus crawlers llegeixin o segueixin llms.txt de manera consistent. Anthropic va reconèixer que els seus sistemes consideren el fitxer quan existeix, sense donar més detalls tècnics. El cost d'implementar-lo és mínim (un fitxer de text de 50-200 línies), el risc és zero, i si en el futur els LLMs comencen a seguir-lo de manera consistent, els llocs que ja el tinguin implementat tindran avantatge. La recomanació: implementar-lo en 30 minuts com a inversió de baix cost amb potencial upside futur.
Com configurar robots.txt per gestionar selectivament els diferents bots IA?
La gestió selectiva a robots.txt requereix distingir entre els diferents user-agents de cada empresa, ja que cada proveïdor té múltiples bots amb propòsits distints. Per a OpenAI: GPTBot és el bot d'entrenament (bloquejar-lo redueix el consum d'entrenament futur, no les cites actuals); OAI-SearchBot i ChatGPT-User són els bots de recuperació per a ChatGPT Search (bloquejar-los redueix cites en temps real). Per a Anthropic: ClaudeBot és entrenament; Claude-SearchBot i Claude-User són recuperació. Per a Perplexity: PerplexityBot és indexació periòdica; Perplexity-User és recuperació en temps real. La configuració bàsica per bloquejar només entrenament i permetre recuperació a robots.txt seria: 'User-agent: GPTBot / Disallow: /' per a entrenament, mantenint els bots de recuperació sense restricció. Google-Extended controla l'ús del teu contingut per entrenar Gemini i Vertex AI, de manera independent a Googlebot, que continua funcionant normalment encara que bloquegis Google-Extended.
