Bots de IA en tus logs: cuáles dejar pasar y cuáles bloquear

Hace unas semanas alguien preguntaba en Hacker News si el tráfico de bots de IA se había ido de las manos. Tenía una web con unas 50.000 páginas estáticas. Contaba que un crawler con “meta” en el user agent había pedido las mismas páginas más de 3 millones de veces en dos días, que los scrapers entraban por proxies residenciales y que, incluso con la web detrás de un login con Turnstile, creaban cuentas para seguir sacando datos. Su resumen: “los costes de hosting se han disparado” (traducción mía).

Si gestionas webs de clientes, esta conversación te va a llegar. Un día el hosting avisa de que se pasan del plan, o el cliente ve en los logs nombres que no conoce y te pregunta si le están robando. La tentación es bloquear bots de IA a lo bruto. Funciona a medias y puede salir caro.

Bloquear bots de IA: primero, saber qué bot es cuál

Las grandes empresas de IA no tienen un solo bot. Tienen varios, con funciones distintas, y la documentación oficial lo deja bastante claro. Yo los separo en tres grupos.

Bots de entrenamiento. Recogen contenido para entrenar modelos. No te mandan visitas.

• GPTBot (OpenAI): según su documentación, rastrea contenido que puede usarse para entrenar sus modelos fundacionales.
• ClaudeBot (Anthropic): recoge contenido que podría contribuir al entrenamiento, según su página de soporte.
• CCBot (Common Crawl): publica lo que rastrea como un repositorio abierto que cualquiera puede descargar, incluidos quienes entrenan modelos.
• Google-Extended: no es un bot, es un token de robots.txt. Google explica que no tiene user agent propio y que no afecta a la inclusión ni al ranking en Google Search.

Bots de búsqueda. Indexan para que la web aparezca citada en las respuestas de un buscador de IA.

• OAI-SearchBot: OpenAI dice que las webs que lo bloquean no aparecen en las respuestas de búsqueda de ChatGPT.
• Claude-SearchBot: indexa para mejorar las respuestas de búsqueda de Claude.
• PerplexityBot: según Perplexity, sirve para mostrar y enlazar webs en sus resultados y no se usa para entrenar modelos.

Agentes de usuario. Entran porque una persona ha hecho una pregunta en ese momento.

• ChatGPT-User, Claude-User y Perplexity-User. Aquí está el matiz: OpenAI avisa de que, como lo inicia un usuario, las reglas del robots.txt pueden no aplicarse. Perplexity dice que Perplexity-User generalmente las ignora.

La clave es que OpenAI escribe en su documentación que cada ajuste es independiente de los demás. Bloquear GPTBot no te saca de ChatGPT. Bloquear OAI-SearchBot, sí.

Qué se llevan y qué devuelven

Cloudflare publicó en 2025 un análisis del tráfico de crawlers de IA que sigue siendo la referencia más citada. En los doce meses analizados, el 80% del rastreo de IA era para entrenamiento, el 18% para búsqueda y solo el 2% para acciones de usuario.

El mismo estudio compara cuántas páginas rastrea cada plataforma por cada visita que devuelve. En julio de 2025, Anthropic rastreaba unas 38.000 páginas por cada visita referida. OpenAI, unas 1.091. Perplexity, unas 195. Google, alrededor de 5.

Dos avisos antes de llevar estas cifras a una reunión. Son de 2025 y cambian mucho de un mes a otro; los informes de 2026 que circulan dan números muy distintos entre sí. Y miden promedios de toda la red de Cloudflare, no la web de tu cliente. Sirven para entender la lógica, no para hacer una factura.

La lógica sí es útil: el bot de entrenamiento consume recursos y no devuelve tráfico. El de búsqueda consume menos y puede traer visitas citadas. El agente de usuario es, literalmente, una persona usando otra herramienta para leer la web.

Lo que haría en el robots.txt de un cliente

Para la mayoría de clientes que viven de que les encuentren, mi punto de partida es este:

# Entrenamiento: fuera
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Búsqueda en IA: dentro
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

No es una plantilla universal. Es una decisión de negocio, y conviene que la tome el cliente con la información delante:

• Un ecommerce o un negocio local quiere que le citen. Le interesa dejar pasar los bots de búsqueda. Bloquear el entrenamiento es opcional y le cuesta poco.
• Un medio o una web de contenido de pago puede tener motivos para cerrar casi todo. Que lo sepa: perderá citas en buscadores de IA.
• Una web corporativa pequeña probablemente no note la diferencia en el servidor. Ahí lo importante es no bloquear por accidente.

Y lo de “por accidente” pasa mucho. Ya lo comenté en el post sobre estrategia de búsqueda IA para clientes: hay robots.txt heredados y copiados sin criterio que bloquean justo lo que el cliente quería que entrara.

Lo de Google-Extended tiene su propia letra pequeña. No saca la web de AI Overviews, que dependen de Googlebot. Si el cliente quiere eso, el camino es otro y lo expliqué en cómo excluir la web de la IA de Google en Search Console.

El robots.txt no frena a los que más gastan

El robots.txt es una petición, no una puerta cerrada. Los bots declarados de las grandes empresas dicen respetarlo. Anthropic, por ejemplo, también admite la directiva Crawl-delay, que no es estándar. Pero el problema del hilo de HN no venía de ahí.

Venía de tráfico que no se identifica, que rota IPs residenciales y que se salta los captchas. Contra eso el robots.txt no sirve de nada. Lo que sí ayuda:

• Mirar los logs antes de tocar nada. Agrupa por user agent y por IP, y mira qué rutas piden. Un user agent con “meta” o “GPTBot” se puede falsificar en un segundo. Si importa, verifica con DNS inverso o con los rangos de IP que publican las empresas.
• Revisar qué estás sirviendo. Uno de los comentarios del hilo apuntaba bien: sitemaps enormes, URLs predecibles o parámetros que multiplican las combinaciones de caché ponen la web en bandeja. Muchas veces el ahorro está en la caché, no en el bloqueo.
• Limitar la velocidad en el servidor o en la CDN. Un límite de peticiones por IP y por ruta frena a los scrapers agresivos sin tocar a los usuarios.
• Usar las reglas de bots de la CDN, pero con cuidado (ahora te cuento por qué).

Hay otro matiz del hilo que me parece honesto. Otro usuario contestaba que su propia web recibía diez veces más visitas desde que usa agentes para buscar por él, y que esos agentes piden mucho más de lo que necesitan. No todo lo que parece un scraper lo es. A veces es un cliente potencial con un asistente torpe.

Ojo con Cloudflare desde el 15 de septiembre

Muchos clientes tienen la web detrás de Cloudflare, así que esto te toca.

Cloudflare anunció que separa el tráfico de IA en tres clases, búsqueda, agente y entrenamiento, y que el 15 de septiembre de 2026 cambiaba los valores por defecto. En dominios nuevos bloquea el entrenamiento y los agentes en las páginas que muestran anuncios, y deja pasar la búsqueda.

La parte que más me preocupa es otra. Desde esa fecha, los crawlers de uso mixto se permiten o se bloquean según todos sus comportamientos, aplicando la regla más restrictiva. Cloudflare dice expresamente que Googlebot, Applebot y BingBot quedarán bloqueados para los clientes que hayan elegido bloquear el entrenamiento, también si lo hicieron con el antiguo “Block AI bots”.

Traducido: si alguien activó ese interruptor en un cliente hace un año “para que no le robaran el contenido”, ahora puede estar bloqueando a Googlebot. Revísalo cuenta por cuenta, en los ajustes de seguridad de cada zona.

Qué le cuentas al cliente

Una explicación de dos minutos que me funciona:

1. Hay bots que aprenden de tu web y no te mandan a nadie. Esos podemos bloquearlos sin perder nada.
2. Hay bots que te pueden citar en ChatGPT, Claude o Perplexity. Esos, salvo que tengas un motivo, conviene dejarlos.
3. Hay tráfico que no respeta las reglas. Para eso no basta el robots.txt; hace falta caché, límites en el servidor o la CDN.
4. Bloquear de más tiene un coste: puedes desaparecer de los buscadores de IA o, con la configuración equivocada en Cloudflare, de Google.

Si después quieres comprobar si esos bots de búsqueda traen visitas reales, tienes el paso a paso en cómo medir el tráfico de ChatGPT en GA4.

Lo que haría esta semana

• Abrir el robots.txt de cada cliente y buscar bloqueos genéricos a bots de IA que nadie recuerda haber puesto.
• Entrar en Cloudflare en las cuentas que lo usen y comprobar si está activado el bloqueo de entrenamiento o el antiguo “Block AI bots”.
• Sacar una semana de logs del cliente con más tráfico y agrupar por user agent.
• Preparar una frase por cliente: qué dejamos pasar, qué bloqueamos y por qué.

Trabajo como socio técnico white-label para agencias: reviso logs, robots.txt y configuración de CDN, y dejo la web abierta a los bots que interesan y cerrada a los que solo cuestan dinero. Lo cuento también en la página de agencia GEO.

¿Tienes un cliente con la factura de hosting disparada o con un Cloudflare que nadie ha revisado? Escríbeme y lo miramos.

Preguntas frecuentes

¿Si bloqueo GPTBot dejo de aparecer en ChatGPT?

No necesariamente. OpenAI separa GPTBot, que recoge contenido para entrenar modelos, de OAI-SearchBot, que decide qué webs aparecen en las respuestas de búsqueda de ChatGPT. Según su documentación, cada ajuste es independiente: puedes bloquear GPTBot y seguir permitiendo OAI-SearchBot.

¿Todos los bots de IA respetan el robots.txt?

No. Los crawlers declarados de OpenAI, Anthropic, Google y Perplexity dicen respetarlo, pero los agentes que visitan una página porque un usuario lo ha pedido, como ChatGPT-User o Perplexity-User, pueden ignorarlo según su propia documentación. Y los scrapers que se hacen pasar por navegadores o usan proxies residenciales no lo leen. Para esos hace falta bloqueo en el servidor o en la CDN.

¿Bloquear Google-Extended afecta al SEO del cliente?

No. Google indica que Google-Extended no influye en la inclusión ni en el ranking de Google Search. Solo controla si el contenido se usa para entrenar y dar contexto a los modelos Gemini. Tampoco saca la web de AI Overviews, que dependen de Googlebot.

¿Qué cambió en Cloudflare con los bots de IA el 15 de septiembre de 2026?

Cloudflare separó el tráfico de IA en tres clases, búsqueda, agente y entrenamiento, y cambió los valores por defecto: en dominios nuevos bloquea entrenamiento y agentes en las páginas que muestran anuncios. Además, si un sitio bloquea el entrenamiento, los crawlers de uso mixto como Googlebot, Applebot o BingBot se tratan con la regla más restrictiva y también pueden quedar bloqueados. Conviene revisar la configuración de cada cliente.