Cloudflare est谩 actualizando su m茅todo para identificar y bloquear rastreadores de IA, lo que puede provocar que el robot de Google sea bloqueado en sitios que impiden el entrenamiento de IA. La compa帽铆a anunci贸 la actualizaci贸n como parte de su segundo D铆a de la Independencia del Contenido.
Los nuevos controles permiten a los sitios web gestionar el tr谩fico automatizado en funci贸n de tres comportamientos en lugar de un 煤nico interruptor de “bloquear robots de IA”. Ya est谩n disponibles para todos los clientes, incluido el nivel gratuito. Un conjunto separado de cambios predeterminados entrar谩 en vigor el 15 de septiembre.
Tres formas de clasificar los rastreadores de IA
Cloudflare ahora clasifica a los rastreadores seg煤n lo que hacen en un sitio en lugar de si cuentan como “IA”. La empresa divide los casos de uso de IA en tres categor铆as:
- La b煤squeda indexa un sitio para responder preguntas m谩s adelante y Cloudflare vincula este comportamiento con el tr谩fico de referencia.
- Agente, bots en tiempo real que act煤an para una persona, como ChatGPT-User o agentes de navegador como Gemini o Claude que operan Chrome.
- Entrenamiento, rastreo que extrae contenido para entrenar o ajustar un modelo.
Cloudflare dice que los operadores de bots deber铆an ejecutar rastreadores separados para cada comportamiento para que los sitios web puedan ver por qu茅 est谩 visitando un bot y decidir si permitirlo o bloquearlo.
Qu茅 cambia el 15 de septiembre
Dos cambios predeterminados entrar谩n en vigor el 15 de septiembre. Para los nuevos clientes y los nuevos sitios para clientes existentes, los rastreadores de Capacitaci贸n y Agentes se bloquear谩n de manera predeterminada en las p谩ginas que muestran anuncios, mientras que la B煤squeda permanecer谩 permitida. El comunicado de prensa de Cloudflare tambi茅n dice que los clientes gratuitos existentes que no hayan cambiado su configuraci贸n antes del 15 de septiembre ser谩n trasladados a estos valores predeterminados.
El segundo cambio va a煤n m谩s all谩. Cloudflare comenzar谩 a tratar a los rastreadores multiprop贸sito en funci贸n de su comportamiento general, aplicando la regla m谩s estricta aplicable. Por ejemplo, un rastreador que realiza b煤squeda y capacitaci贸n ser谩 bloqueado si un sitio bloquea la capacitaci贸n. Cloudflare utiliza Googlebot, Applebot y Bingbot como ejemplos, ya que cada uno rastrea tanto para b煤squeda como para entrenamiento de IA. Si un sitio ya ha habilitado la configuraci贸n anterior “Bloquear bots de IA”, estar谩 cubierto por esta nueva regla.
Si desea conservar esos rastreadores, puede revisar o cambiar esta configuraci贸n en su panel de Cloudflare en cualquier momento antes del 15 de septiembre. Cloudflare dice que continuar谩 notificando a los clientes antes de la fecha.
Nuevas se帽ales sobre c贸mo los bots utilizan el contenido
Cloudflare tambi茅n est谩 probando una se帽al de uso de contenido que extiende las se帽ales de contenido en robots.txt. Lleva tres valores, de mayor a menor restrictivo: inmediato, que no almacena nada; referencia, que indexa y vincula y es el nuevo valor predeterminado; y completo, que resume y reproduce. Cloudflare dice que estos indican una preferencia y no se bloquean por s铆 solos.
La empresa ha revisado la definici贸n de “Verificado” para bots. Ahora bien, un bot verificado no se permite autom谩ticamente en todas partes; en cambio, su acceso depende de su categor铆a. Adem谩s, los bots que replican el contenido en su totalidad no son elegibles para la verificaci贸n. Cloudflare introdujo un directorio de b煤squeda, BotBase, para los usuarios de Enterprise Bot Management, que muestra la clasificaci贸n de cada bot rastreado y una identificaci贸n de detecci贸n copiable para las reglas de seguridad.
El informe detr谩s de los cambios
La actualizaci贸n lleg贸 con un informe de Cloudflare que marca el primer aniversario del primer D铆a de la Independencia del Contenido. Seg煤n el informe, el entrenamiento de IA representa ahora la mayor铆a de las solicitudes de rastreadores en su red, un aumento desde aproximadamente el 20% en la primavera de 2025. Tambi茅n se帽ala que las solicitudes diarias de agentes de IA aumentaron en m谩s de un 1,700% durante el a帽o. Estas estad铆sticas se basan en el tr谩fico de red de Cloudflare y no representan toda la web.
Por qu茅 esto importa
La regla del 15 de septiembre vincula los bloques de entrenamiento de IA con el rastreo de b煤squedas en la red de Cloudflare. Si un sitio bloquea Training para proteger su contenido de los modelos de IA, tambi茅n podr铆a bloquear involuntariamente a Googlebot, ya que un bloque de Cloudflare opera a nivel de red, lo que hace que sea m谩s dif铆cil de eludir que una simple l铆nea robots.txt que Google puede ignorar ya que un bloque de Cloudflare opera a nivel de red, ya que robots.txt es una instrucci贸n de asesoramiento para los rastreadores. Perder el acceso del robot de Google significa que el sitio no se rastrear谩 con tanta eficacia, lo que eventualmente podr铆a afectar su visibilidad en los resultados de b煤squeda.
He seguido a los editores que pasaron a configuraciones de denegaci贸n predeterminadas y bloquearon tanto la recuperaci贸n como la capacitaci贸n. robots terminados el a帽o pasado. La exposici贸n es la misma cada vez. Bloquear la capa de entrenamiento tambi茅n puede bloquear la capa de b煤squeda que mantiene un sitio localizable.
Mirando hacia el futuro
Los sitios web que utilizan Cloudflare deben revisar su configuraci贸n de bloqueo de IA antes del 15 de septiembre y decidir si mantienen habilitados los rastreadores de b煤squeda. La regla del rastreador combinado afecta principalmente a aquellos que activaron “Bloquear robots de IA” anteriormente y no han ajustado su configuraci贸n desde entonces. Los usuarios gratuitos que no cambien su configuraci贸n la actualizar谩n a los nuevos valores predeterminados en esa fecha.
Cloudflare quiere que los operadores de rastreadores de prop贸sito mixto separe esos bots por comportamiento durante el pr贸ximo a帽o. El hecho de que los principales operadores diferencien sus bots por su comportamiento determinar谩 si esto se convierte en una elecci贸n real, en lugar de un compromiso entre bloquear el entrenamiento de IA y mantener la visibilidad de la b煤squeda.
Imagen destacada: prensa de jack/Shutterstock
