Contenidos
John Mueller de Google dijo que Google tuvo discusiones internas sobre permitir la directiva noindex en el archivo robots.txt.
John Mueller de Google respondió a una pregunta en LinkedIn para discutir el uso de una directiva noindex no compatible en el archivo robots.txt de su sitio web personal. Explicó los pros y los contras del apoyo de los motores de búsqueda a la directiva y ofreció información sobre las discusiones internas de Google sobre su apoyo.
Robots de John Mueller.txt
El archivo robots.txt de Mueller ha sido un tema de conversación durante la semana pasada debido a la rareza general de las directivas extrañas y no estándar que utilizó en él.
Era casi inevitable que el archivo robots.txt de Mueller fuera analizado y se volviera viral en la comunidad de marketing de búsqueda.
Directiva sin índice
Todo lo que está en un archivo robots.txt se llama directiva. Una directiva es una solicitud dirigida a un rastreador web que está obligado a obedecer (si obedece las directivas de robots.txt).
Existen estándares sobre cómo escribir una directiva robots.txt y cualquier cosa que no se ajuste a esos estándares probablemente será ignorada. Una directiva no estándar en el archivo robots.txt de Mueller llamó la atención de alguien que decidió publicar una pregunta al respecto a John Mueller a través de LinkedIn, para saber si Google apoyaba la directiva no estándar.
Es una buena pregunta porque es fácil suponer que si un empleado de Google la usa, entonces tal vez Google la admita.
La directiva no estándar era noindex Noindex es parte del estándar meta robots pero no del estándar robots.txt Mueller no tenía sólo una instancia de la directiva noindex, tenía 5.506 directivas noindex.
El especialista en SEO que hizo la pregunta, Mahek Giri, escribió: wrote
“In John Mueller’s robots.txt file,
there’s an unusual command:
“noindex:”
This command isn’t part of the standard robots.txt format,
So do you think it will have any impact on how search engine indexes his pages?
John Mueller curious to know about noindex: in robots.txt”
“En el archivo robots.txt de John Mueller,
hay un comando inusual:
“sin índice:”
Este comando no forma parte del formato estándar robots.txt,
Entonces, ¿crees que tendrá algún impacto en la forma en que los motores de búsqueda indexan sus páginas?
John Mueller tiene curiosidad por saber sobre noindex: en robots.txt”
Por qué Google no admite la directiva Noindex en Robots.txt
John Mueller de Google respondió que no tenía soporte.
Mueller respondió:
“This is an unsupported directive, it doesn’t do anything.”
«Esta es una directiva sin respaldo, no hace nada».
Mueller luego continuó explicando que Google había considerado en algún momento apoyar la directiva noindex desde dentro del archivo robots.txt porque proporcionaría una manera para que los editores impidieran que Google rastreara e indexara contenido al mismo tiempo.
En este momento es posible bloquear el rastreo en robots.txt o bloquear la indexación con la directiva meta robots noindex. Pero no se puede bloquear la indexación con la directiva meta robots y bloquear el rastreo en el archivo robots.txt al mismo tiempo porque un bloqueo en el rastreo impedirá que el rastreador «vea» la directiva meta robots.
Mueller explicó por qué Google decidió no seguir adelante con la idea de respetar la directiva noindex dentro del archivo robots.txt.
El escribio:
“There were many discussions about whether it should be supported as part of the robots.txt standard. The thought behind it was that it would be nice to block both crawling and indexing at the same time. With robots.txt, you can block crawling, or you can block indexing (with a robots meta tag, if you allow crawling). The idea was that you could have a “noindex” in robots.txt too, and block both.
Unfortunately, because many people copy & paste robots.txt files without looking at them in detail (few people look as far as you did!), it would be very, very easy for someone to remove critical parts of a website accidentally. And so, it was decided that this should not be a supported director, or a part of the robots.txt standard… probably over 10 years ago at this point.”
“Hubo muchas discusiones sobre si debería ser compatible como parte del estándar robots.txt. La idea detrás de esto era que sería bueno bloquear tanto el rastreo como la indexación al mismo tiempo. Con robots.txt, puede bloquear el rastreo o puede bloquear la indexación (con una metaetiqueta de robots, si permite el rastreo) La idea era que también se pudiera tener un «noindex» en robots.txt y bloquear ambos.
Desafortunadamente, debido a que muchas personas copian y pegan archivos robots.txt sin mirarlos en detalle (¡pocas personas miran tan lejos como usted!), sería muy, muy fácil para alguien eliminar accidentalmente partes críticas de un sitio web. Y entonces, se decidió que este no debería ser un director compatible, ni parte del estándar robots.txt… probablemente hace más de 10 años en este momento”.
¿Por qué estaba ese Noindex en Robots.txt de Mueller?
Mueller dejó en claro que es poco probable que Google admita esa etiqueta y que esto se confirmó hace unos diez años. La revelación sobre esas discusiones internas es interesante, pero también profundiza la sensación de rareza sobre el archivo robots.txt de Mueller.
Ver también: 8 problemas comunes de Robots.txt y cómo solucionarlos
Imagen destacada de Shutterstock/Kues
Leer el articulo original en Search Engine Journal.
