Google ha actualizado silenciosamente su lista de recuperadores activados por el usuario con nueva documentación para Google NotebookLM. La importancia de este cambio aparentemente menor es que está claro que Google NotebookLM no obedecerá al archivo robots.txt.
Cuaderno de GoogleLM
NotebookLM es una herramienta de investigación y redacción de inteligencia artificial que permite a los usuarios agregar la URL de una página web, que procesará el contenido y luego les permitirá hacer una variedad de preguntas y generar resúmenes basados en el contenido.
La herramienta de Google puede crear automáticamente un mapa mental interactivo que organiza temas de un sitio web y extrae conclusiones de él.
Los captadores activados por el usuario ignoran Robots.txt
Los captadores activados por el usuario de Google son agentes web activados por los usuarios y, de forma predeterminada, ignoran el protocolo robots.txt.
Según la documentación de captadores activados por el usuario de Google:
“Debido a que la búsqueda fue solicitada por un usuario, estos buscadores generalmente ignoran las reglas de robots.txt”.
Google-NotebookLM ignora Robots.txt
El propósito de robots.txt es brindar a los editores control sobre los robots que indexan páginas web. Pero agentes como el buscador Google-NotebookLM no indexan contenido web, sino que actúan en nombre de los usuarios que interactúan con el contenido del sitio web a través de NotebookLM de Google.
Cómo bloquear NotebookLM
Google utiliza el Google-NotebookLM agente de usuario al extraer el contenido del sitio web. Por lo tanto, es posible que los editores que deseen impedir que los usuarios accedan a su contenido puedan crear reglas que bloqueen automáticamente a ese agente de usuario. Por ejemplo, una solución sencilla para los editores de WordPress es utilizar Wordfence para crear una regla personalizada para bloquear a todos los visitantes del sitio web que utilizan el agente de usuario Google-NotebookLM.
Otra forma de hacerlo es con .htaccess usando la siguiente regla:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM (NC) RewriteRule .* - (F,L)
