Google public贸 una nueva actualizaci贸n de robots.txt explicando c贸mo robots.txt permite que los editores y los SEO controlen los rastreadores de motores de b煤squeda y otros bots (que obedecen robots.txt). La documentaci贸n incluye ejemplos de p谩ginas espec铆ficas de bloqueo (como carritos de compras), restringir ciertos bots y manejar el comportamiento de rastreo con reglas simples.
De lo b谩sico a avanzado
La nueva documentaci贸n ofrece una introducci贸n r谩pida a lo que es robots.txt y progresa gradualmente a una cobertura cada vez m谩s avanzada de lo que los editores y los SEO pueden hacer con robots.txt y c贸mo los beneficia.
El punto principal de la primera parte del documento es introducir robots.txt como un protocolo web estable con un historial de 30 a帽os que es ampliamente compatible con los motores de b煤squeda y otros rastreadores.
La consola de b煤squeda de Google informar谩 un mensaje de error 404 si falta robots.txt. Est谩 bien que eso suceda, pero si te molesta ver que en el GSC puedes esperar 30 d铆as y la advertencia disminuir谩. Un alterador es crear un archivo en blanco Robots.txt que tambi茅n sea aceptable por Google.
La nueva documentaci贸n de Google explica:
“Puede dejar su archivo robots.txt vac铆o (o no tener uno en absoluto) si todo su sitio puede estar rastreado o puede agregar reglas para administrar el rastreo”.
A partir de ah铆, cubre los conceptos b谩sicos como reglas personalizadas para restringir p谩ginas o secciones espec铆ficas.
Los usos avanzados de robots.txt cubre estas capacidades:
- Pueden apuntar a rastreadores espec铆ficos con diferentes reglas.
- Habilita los patrones de URL de bloqueo como PDF o p谩ginas de b煤squeda.
- Habilita el control granular sobre bots espec铆ficos.
- Admite comentarios para la documentaci贸n interna.
La nueva documentaci贸n termina describiendo cu谩n simple es editar el archivo robots.txt (es un archivo de texto con reglas simples), por lo que todo lo que necesita es un editor de texto simple. Muchos sistemas de administraci贸n de contenido tienen una manera de editarlo y hay herramientas disponibles para probar si el archivo robots.txt est谩 utilizando la sintaxis correcta.
Lea la nueva documentaci贸n aqu铆:
Robots Flexer: Robots.txt: una forma flexible de controlar c贸mo las m谩quinas exploran su sitio web
Imagen destacada de Shutterstock/Bluestork
(Tagstotranslate) Noticias
