La nueva iniciativa de “Pay por Crawl” de Cloudflare ha provocado un debate entre los profesionales de SEO y los especialistas en marketing digital.
La compa帽铆a ha introducido un sistema de bloqueo de rastreadores de IA predeterminado junto con nuevas opciones de monetizaci贸n para los editores.
Esto permite a los editores cobrar a las compa帽铆as de IA por el acceso, lo que podr铆a afectar la forma en que el contenido web se consume y valora en la era de la b煤squeda generativa.
El nuevo valor predeterminado de Cloudflare: Bloque de AI Crawlers
El sistema, ahora en beta privada, bloquea los rastreadores de IA conocidos de forma predeterminada para los nuevos dominios de CloudFlare.
Los editores pueden elegir una de las tres configuraciones de acceso para cada rastreador:
- Permitir – Grant Acceso sin restricciones
- Cargar -Requerir el pago al precio configurado de todo el dominio
- Bloquear – Denegar el acceso por completo
Los rastreadores que intentan acceder al contenido bloqueado recibir谩n un 402 Payment Required respuesta. Los editores establecen un precio plano de todo el sitio por solicitud, y Cloudflare maneja la facturaci贸n y la distribuci贸n de ingresos.
Cloudflare escribi贸:
鈥淚magine pedirle a su programa de investigaci贸n profunda favorita para que lo ayude a sintetizar la 煤ltima investigaci贸n del c谩ncer o un informe legal, o simplemente ayudarlo a encontrar el mejor restaurante en Soho, y luego darle a ese agente un presupuesto para gastar para adquirir el mejor y m谩s relevante contenido.
Detalles t茅cnicos y adopci贸n del editor
El sistema se integra directamente con las herramientas de gesti贸n de botes de CloudFlare y funciona junto con las reglas WAF existentes y robots.txt archivos. La autenticaci贸n se maneja utilizando pares de claves ED25519 y firmas de mensajes HTTP para evitar la suplantaci贸n de suplantaci贸n.
Cloudflare dice que los primeros usuarios incluyen editores importantes como Cond茅 Nast, Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest, Quora y otros.
Si bien la configuraci贸n actual admite solo precios planos, la compa帽铆a planea explorar modelos de precios din谩micos y granulares en iteraciones futuras.
SEO Community comparte preocupaciones
Si bien los nuevos controles de Cloudflare se pueden cambiar manualmente, varios expertos en SEO est谩n preocupados por el impacto de hacer que el sistema opte por no participar en lugar de optar.
“Esto no terminar谩 bien”, escribi贸 Duane Forrester, Vicepresidente de Insights de la Industria en Yext, advirtiendo que las empresas pueden tener dificultades para aparecer en respuestas a la IA sin darse cuenta de que el acceso de los rastreadores se est谩 bloqueando a menos que se pague una tarifa.
Lily Ray, vicepresidenta de estrategia e investigaci贸n de SEO en Amsive Digital, se帽al贸 que es probable que el cambio genere conversaciones urgentes con los clientes, especialmente aquellos que no saben que sus sitios ahora podr铆an ser invisibles para los rastreadores de IA por defecto.
Ryan Jones, vicepresidente senior de SEO en Razorfish, expres贸 que la mayor铆a de sus sitios de clientes en realidad quieren que los rastreadores de IA accedan a su contenido por razones de visibilidad.
Algunos dicen que es un reinicio necesario
Algunos en la comunidad dan la bienvenida a la medida como un reequilibrio de la econom铆a de contenido desde hace mucho tiempo.
“Se necesita una fuerza para inclinar el equilibrio de regreso a donde alguna vez estaba”, dijo Pedro Dias, consultor t茅cnico de SEO y ex miembro del equipo de calidad de b煤squeda de Google. Sugiere que la din谩mica actual favorece a las compa帽铆as de IA a expensas de los editores.
Ilya Grigorik, ingeniera distinguida y asesora t茅cnica de Shopify, elogi贸 el uso de la autenticaci贸n criptogr谩fica, diciendo que es “muy necesario” dado lo dif铆cil que es distinguir entre bots leg铆timos y maliciosos.
Bajo el nuevo sistema, los rastreadores deben autenticarse utilizando la criptograf铆a de clave p煤blica y declarar la intenci贸n de pago a trav茅s de encabezados HTTP personalizados.
Administraci贸n de acceso de rastreadores: lo que puede hacer
A medida que entran en vigencia la nueva configuraci贸n predeterminada de Cloudflare, existe una preocupaci贸n por la p茅rdida de visibilidad en las herramientas de b煤squeda de IA. Pero tienes opciones para recuperar el control.
El tr谩fico de IA puede disminuir bruscamente si su dominio bloquea los bots de IA sin que se d茅 cuenta.
Himanshu Sharma, consultor de an谩lisis digital y fundador de OptimizesMart, advirti贸 en X:
“Espere una fuerte disminuci贸n en el tr谩fico de IA reportado por GA4 a medida que CloudFlare bloquea casi todos los rastreadores/bots de IA conocidos para raspar el contenido de su sitio web de forma predeterminada”.
Sharma aconsej贸 a los propietarios del sitio que revisen proactivamente su configuraci贸n de CloudFlare:
- Navegue a su tablero de nubes
- Ir a la seguridad> bots
- Encuentre la configuraci贸n de “Bloque de entrenamiento AI”
- Use el men煤 desplegable para cambiarlo de la “Bloquear todas las p谩ginas” predeterminadas a “No bloquear (desactivar)” si desea permitir que AI Crawlers
Esta opci贸n le permite decidir si desea mantener la visibilidad en las plataformas impulsadas por la IA o limitar el uso de contenido para capacitaci贸n y respuestas.
Mirando hacia el futuro
El sistema de pago por crawl de Cloudflare formaliza una nueva capa de negociaci贸n sobre qui茅n puede acceder al contenido web y a qu茅 costo.
Para los profesionales de SEO, esto agrega complejidad: la visibilidad ahora puede depender no solo de la clasificaci贸n, sino tambi茅n de la configuraci贸n de acceso a los rastreadores, las pol铆ticas de pago y la autenticaci贸n de Bot.
Mientras que algunos ven esto como editores empoderadores, otros advierten que podr铆a fragmentar la web abierta, donde el acceso al contenido var铆a seg煤n la infraestructura y los paredes de pago.
Si la IA generativa se convierte en una parte central de c贸mo buscan las personas, y las tuber铆as que se alimentan de esa IA ahora son carreteras de peaje, los sitios web deber谩n gestionar la visibilidad en un creciente mosaico de sistemas, pol铆ticas y modelos financieros.
Imagen destacada: Samborskyi romano/Shutterstock
(Tagstotranslate) Noticias
