El defensor del desarrollador de Google, Martin Splitt, advierte a los propietarios de sitios web que tengan cuidado con el tráfico que parece provenir de Googlebot. Muchas solicitudes que pretenden ser Googlebot son en realidad de raspadores de terceros.
Compartió esto en el último episodio de la serie SEO Easy de Google Made, enfatizando que “no todos los que afirman ser Googlebot en realidad son Googlebot”.
¿Por qué importa esto?
Los rastreadores falsos pueden distorsionar el análisis, consumir recursos y dificultar la evaluación del rendimiento de su sitio con precisión.
Aquí le mostramos cómo distinguir entre el tráfico legítimo de Googlebot y la actividad falsa de los rastreadores.
Métodos de verificación de Googlebot
Puede distinguir el tráfico real de Googlebot de los rastreadores falsos al observar los patrones generales de tráfico en lugar de las solicitudes inusuales.
El tráfico real de Googlebot tiende a tener una frecuencia de solicitud constante, tiempo y comportamiento.
Si sospecha que falsa la actividad de Googlebot, Splitt aconseja usar las siguientes herramientas de Google para verificarla:
Herramienta de inspección de URL (consola de búsqueda)
- Encontrar contenido específico en el HTML renderizado confirma que GoogleBot puede acceder con éxito a la página.
- Proporciona capacidad de prueba en vivo para verificar el estado de acceso actual.
Prueba de resultados ricos
- Actúa como un método de verificación alternativo para el acceso de GoogleBot
- Muestra cómo Googlebot representa la página
- Se puede usar incluso sin acceso a la consola de búsqueda
Informe de estadísticas de rastreo
- Muestra datos detallados de respuesta del servidor específicamente de las solicitudes verificadas de GoogleBot
- Ayuda a identificar patrones en el comportamiento legítimo de Googlebot
Hay una limitación clave que vale la pena señalar: estas herramientas verifican lo que Googlebot real ve y hace, pero no identifican directamente los imitadores en los registros de su servidor.
Para proteger completamente contra Fake Googlebots, necesitaría:
- Compare los registros del servidor con los rangos IP oficiales de Google
- Implementar la verificación de búsqueda de DNS inversa
- Use las herramientas anteriores para establecer el comportamiento de GoogleBot legítimo de la línea de base
Monitoreo de respuestas del servidor
Splitt también enfatizó la importancia de monitorear las respuestas del servidor a las solicitudes de rastreo, particularmente:
- Errores de la serie 500
- Buscar errores
- Tiempos de espera
- Problemas de DNS
Estos problemas pueden afectar significativamente la eficiencia de rastreo y la visibilidad de búsqueda para sitios web más grandes que alojan millones de páginas.
Split dice:
“Preste atención a las respuestas que su servidor le dio a Googlebot, especialmente un gran número de 500 respuestas, errores de obtención, tiempos de espera, problemas de DNS y otras cosas”.
Señaló que si bien algunos errores son cuestiones transitorias y persistentes “podrían querer investigar más a fondo”.
Splitt sugirió usar el análisis de registro del servidor para hacer un diagnóstico más sofisticado, aunque reconoció que “no es algo básico que hacer”.
Sin embargo, enfatizó su valor, señalando que “mirar los registros de su servidor web … es una forma poderosa de comprender mejor lo que está sucediendo en su servidor”.
Ver también: Cómo cambiar los agentes de los usuarios en Chrome, Edge, Safari y Firefox
Impacto potencial
Más allá de la seguridad, el tráfico falso de Googlebot puede afectar el rendimiento del sitio web y los esfuerzos de SEO.
Splitt enfatizó que la accesibilidad al sitio web en un navegador no garantiza el acceso de Googlebot, citando varias barreras potenciales, que incluyen:
- Restricciones de robots.txt
- Configuraciones de firewall
- Sistemas de protección de bots
- Problemas de enrutamiento de red
Mirando hacia el futuro
El tráfico falso de Googlebot puede ser molesto, pero Splitt dice que no debe preocuparse demasiado por los casos raros.
Supongamos que la actividad falsa del rastreador se convierte en un problema o usa demasiada potencia del servidor. En ese caso, puede tomar medidas como limitar la tasa de solicitudes, bloquear direcciones IP específicas o usar mejores métodos de detección de bot.
Para obtener más información sobre este tema, consulte el video completo a continuación:
https://www.youtube.com/watch?v=e0wnyvsirf0
Imagen destacada: eamesbot/Shutterstock
(Tagstotranslate) Noticias
