Los rastreadores de IA representan el 28% del tráfico de Googlebot, descubre el estudio

Un informe publicado por VERCEL destaca el creciente impacto de los bots de IA en el rastreo web.

GPTBOT de OpenAI y Claude de Anthrope generan casi mil millones de solicitudes mensualmente en la red de Vercel.

Los datos indican que GPTBOT realizó 569 millones de solicitudes en el último mes, mientras que Claude representó 370 millones.

Además, PerplexityBot contribuyó con 24.4 millones de ganancias, y Applebot agregó 314 millones de solicitudes.

Juntos, estos rastreadores de IA representan aproximadamente 28% del volumen total de Googlebot, que es de 4.500 millones de recuperaciones.

Esto es lo que esto podría significar para SEO.

Hallazgos clave en los rastreadores de IA

El análisis analizó los patrones de tráfico en la red de Vercel y varias arquitecturas web. Encontró algunas características clave de los rastreadores de IA:

• Los principales rastreadores de IA no representan a JavaScript, aunque extraen archivos JavaScript.
• Los rastreadores de IA a menudo son ineficientes, con Chatgpt y Claude gastando 34% de sus solicitudes en 404 páginas.
• El tipo de contenido en el que se centran estos rastreadores varían. Chatgpt prioriza html (57.7%), mientras que Claude se centra más en las imágenes (35.17%).

Distribución geográfica

A diferencia de los motores de búsqueda tradicionales que operan desde múltiples regiones, los rastreadores de IA actualmente mantienen una presencia concentrada de los Estados Unidos:

• ChatGPT opera desde Des Moines (Iowa) y Phoenix (Arizona)
• Claude opera desde Columbus (Ohio)

Correlación de Almanaque web

Estos hallazgos se alinean con los datos compartidos en el Capítulo SEO del Almanaque web, que también señala la creciente presencia de rastreadores de IA.

Según el informe, los sitios web ahora usan archivos robots.txt para establecer reglas para bots de IA, diciéndoles lo que pueden o no pueden rastrear.

GPTBOT es el bot más mencionado, que aparece en 2.7% de sitios móviles estudiados. El bot de rastreo común, a menudo utilizado para recopilar datos de capacitación para modelos de idiomas, también se observa con frecuencia.

Ambos informes enfatizan que los propietarios de sitios web deben adaptarse a cómo se comportan los rastreadores de IA.

3 formas de optimizar para los rastreadores de IA

Según los datos recientes de Vercel y el Almanaque web, aquí hay tres formas de optimizar para los rastreadores de IA.

1. Representación del lado del servidor

Los rastreadores de IA no ejecutan JavaScript. Esto significa que cualquier contenido que se basa en la representación del lado del cliente podría ser invisible.

Acciones recomendadas:

• Implementar la representación del lado del servidor para contenido crítico
• Asegúrese de que el contenido principal, la meta información y las estructuras de navegación estén presentes en el HTML inicial
• Utilice la generación estática del sitio o la regeneración estática incremental cuando sea posible

2. Estructura y entrega de contenido

Los datos de Vercel muestran distintas preferencias de tipo de contenido entre los rastreadores de IA:

Chatgpt:

• Prioriza el contenido HTML (57.70%)
• Gasta el 11.50% de las ganancias en los archivos JavaScript

Claude:

• Se centra mucho en las imágenes (35.17%)
• Dedica el 23.84% de las obtenidas a los archivos de JavaScript

Recomendaciones de optimización:

• Estructura de contenido HTML de manera clara y semántica
• Optimizar la entrega de imágenes y los metadatos
• Incluir texto alternativo descriptivo para imágenes
• Implementar la jerarquía de encabezado adecuada

3. Consideraciones técnicas

Las altas tasas de 404 de los rastreadores de IA significan que necesita mantener estas consideraciones técnicas de la mente:

• Mantener los sitios web actualizados
• Implementar cadenas de redirección adecuadas
• Use patrones de URL consistentes
• Auditoría regular de 404 errores

Mirando hacia el futuro

Para los especialistas en marketing de búsqueda, el mensaje es claro: los chatbots de IA son una nueva fuerza en el rastreo web, y los sitios deben adaptar su SEO en consecuencia.

Aunque los bots de IA pueden confiar en la información en caché o anticuado ahora, su capacidad para analizar contenido nuevo de toda la web crecerá.

Puede ayudar a garantizar que su contenido esté rastreado e indexado con representación del lado del servidor, estructuras de URL limpias y sitios actualizados.

Imagen destacada: tete_escape/Shutterstock