Un ingeniero de Google advirtió que los agentes de IA y los bots automatizados pronto inundarán Internet con el tráfico.
Gary Illyes, que trabaja en el equipo de relaciones de búsqueda de Google, dijo que “todos y mi abuela están lanzando un rastreador” durante un podcast reciente.
La advertencia proviene de la última búsqueda de Google en el episodio de podcast Record.
Los agentes de IA forzarán los sitios web
Durante su conversación con el miembro del equipo de relaciones de búsqueda Martin Splitt, Illyes advirtió que los agentes de IA y las “travesuras de IA” serán fuentes significativas de nuevo tráfico web.
Illyes dijo:
“La web se está congestionando … no es algo que la web no pueda manejar … la web está diseñada para poder manejar todo ese tráfico incluso si es automático”.
Este aumento ocurre a medida que las empresas implementan herramientas de IA para la creación de contenido, la investigación de la competencia, el análisis de mercado y la recopilación de datos. Cada herramienta requiere que funcione los sitios web de rastreo, y con el rápido crecimiento de la adopción de IA, se espera que aumente este tráfico.
Cómo funciona el sistema de rastreadores de Google
El podcast proporciona una discusión detallada de la configuración de rastreo de Google. En lugar de emplear diferentes rastreadores para cada producto, Google ha desarrollado un sistema unificado.
La búsqueda en Google, Adsense, Gmail y otros productos utilizan la misma infraestructura de rastreadores. Cada uno se identifica con un nombre de agente de usuario diferente, pero todos se adhieren a los mismos protocolos para robots.txt y salud del servidor.
Illyes explicó:
“Puede obtenerlo desde Internet, pero debe especificar su propia cadena de agente de usuario”.
Este enfoque unificado asegura que todos los rastreadores de Google se adhieran a los mismos protocolos y se retroceden cuando los sitios web encuentran dificultades.
¿El verdadero cerdo de recursos? No se arrastra
Illyes desafió la sabiduría de SEO convencional con una afirmación potencialmente controvertida: el rastreo no consume recursos significativos.
Illyes declaró:
“No es el rastreo lo que está comiendo los recursos, es indexación y potencialmente sirviendo o lo que está haciendo con los datos”.
Incluso bromeó que “se gritaría en Internet” por decir esto.
Esta perspectiva sugiere que la obtención de páginas utiliza recursos mínimos en comparación con el procesamiento y el almacenamiento de los datos. Para aquellos preocupados por el presupuesto de rastreo, esto podría cambiar las prioridades de optimización.
De miles a billones: el crecimiento de la web
Los Googlers proporcionaron un contexto histórico. En 1994, el motor de búsqueda de gusanos de la red mundial indexó solo 110,000 páginas, mientras que WebCrawler logró indexar 2 millones. Hoy, los sitios web individuales pueden superar millones de páginas.
Este rápido crecimiento requirió la evolución tecnológica. Los rastreadores progresaron de protocolos HTTP 1.1 básicos a HTTP/2 modernos para conexiones más rápidas, con soporte HTTP/3 en el horizonte.
Batalla de eficiencia de Google
Google pasó el año pasado tratando de reducir su huella de rastreo, reconociendo la carga de los propietarios del sitio. Sin embargo, continúan surgiendo nuevos desafíos.
Illyes explicó el dilema:
“Guardó siete bytes de cada solicitud que realice y luego este nuevo producto agregará ocho”.
Cada ganancia de eficiencia es compensada por nuevos productos de IA que requieren más datos. Este es un ciclo que no muestra signos de detención.
Qué deben hacer los propietarios de sitios web
El próximo aumento del tráfico requiere acción en varias áreas:
- Infraestructura: El alojamiento actual puede no admitir la carga esperada. Evalúe la capacidad del servidor, las opciones de CDN y los tiempos de respuesta antes de que ocurra la afluencia.
- Control de acceso: Revise las reglas Robots.txt para controlar qué rastreadores de IA pueden acceder a su sitio. Bloquee los bots innecesarios al tiempo que permite que los legítimos funcionen correctamente.
- Rendimiento de la base de datos: Illyes señaló específicamente las “llamadas de base de datos costosas” como problemáticas. Optimizar consultas e implementar el almacenamiento en caché para aliviar la tensión del servidor.
- Escucha: Diferenciar entre rastreadores legítimos, agentes de IA y bots maliciosos a través del análisis de registro exhaustivo y el seguimiento de rendimiento.
El camino hacia adelante
Illyes señaló el rastreo común como un modelo potencial, que se arrastra una vez y comparte datos públicamente, reduciendo el tráfico redundante. Las soluciones colaborativas similares pueden surgir a medida que la web se adapta.
Si bien Illyes expresó su confianza en la capacidad de la Web para administrar un aumento del tráfico, el mensaje es claro: los agentes de IA están llegando en números masivos.
Los sitios web que fortalecen su infraestructura ahora estarán mejor equipados para resistir la tormenta. Los que esperan pueden sentirse abrumados cuando golpea toda la fuerza de la ola.
Escuche el episodio de podcast completo a continuación:
https://www.youtube.com/watch?v=iggonz1e
Imagen destacada: colagery/shutterstock
(Tagstotranslate) Noticias
