Contenidos
Google actualizó la documentación oficial de Googlebot con una nueva guía sobre las visitas de IP asociadas con GoogleUserContent.com
Google actualizó su Documentación central de búsqueda para verificar Googlebot, agregando documentación sobre visitas de bots activadas por usuarios, información que faltaba en la documentación anterior de Googlebot, lo que ha creado confusión durante muchos años, con algunos editores bloqueando los rangos de IP de las visitas legítimas.
Documentación de bots recientemente actualizada
Google agregó una nueva documentación que clasifica los tres tipos diferentes de bots que los editores deben esperar.
Estas son las tres categorías de Google Bots:
- Googlebot: rastreador de búsqueda
- Orugas para casos especiales
- Buscadores activados por el usuario (GoogleUserContent)
El último, GoogleUserContent, es uno que ha confundido a los editores durante mucho tiempo porque Google no tenía ninguna documentación explícita al respecto.
Esto es lo que dice Google sobre GoogleUserContent:
“User-triggered fetchers
Tools and product functions where the end user triggers a fetch.
For example, Google Site Verifier acts on the request of a user.
Because the fetch was requested by a user, these fetchers ignore robots.txt rules.”
The documentation states that the reverse DNS mask will show the following domain:
“***-***-***-***.gae.googleusercontent.com”
“Buscadores activados por el usuario
Herramientas y funciones de productos en las que el usuario final activa una búsqueda.
Por ejemplo, Google Site Verifier actúa sobre la solicitud de un usuario.
Debido a que la búsqueda fue solicitada por un usuario, estos buscadores ignoran las reglas de robots.txt”.
La documentación establece que la máscara DNS inversa mostrará el siguiente dominio:
“***-***-***-***.gae.googleusercontent.com”
Google actualizó recientemente su página Google Crawlers para crear una sección específicamente sobre buscadores activados por el usuario. section specifically about user-triggered fetchers
La lista de los diferentes rastreadores contiene los mismos bots, pero la página se ha reorganizado para categorizar los buscadores activados por el usuario en su propio grupo.
Los siguientes rastreadores ahora están designados como buscadores activados por el usuario:
“Feedfetcher
Feedfetcher is used for crawling RSS or Atom feeds for Google Podcasts, Google News, and PubSubHubbub.Google Publisher Center
Fetches and processes feeds that publishers explicitly supplied through the Google Publisher Center to be used in Google News landing pages.Google Read Aloud
Upon user request, Google Read Aloud fetches and reads out web pages using text-to-speech (TTS).Google Site Verifier
Google Site Verifier fetches upon user request Search Console verification tokens.”
“FeedfetcherFeedfetcher se usa para rastrear fuentes RSS o Atom para Google Podcasts, Google News y PubSubHubbub.
Centro de editores de Google
Leer en voz alta de Google
Verificador de sitios de Google
En el pasado, algunos miembros de la comunidad de SEO me dijeron que la actividad del bot de las direcciones IP asociadas con GoogleUserContent.com se activaba cuando un usuario visitaba un sitio web a través de una función de traducción que solía estar en los resultados de búsqueda, una característica
No sé si eso fue cierto o no en el pasado.
Pero lo anterior es la nueva información que tenemos ahora sobre los buscadores activados por el usuario.
Además, Google agregó la siguiente información sobre los buscadores activados por el usuario:
“User-triggered fetchers
User-triggered fetchers are triggered by users to perform a product specific function. For example, Google Site Verifier acts on a user’s request.Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules. The IP ranges the user-triggered fetchers use are published in the user-triggered-fetchers.json object.”
“Buscadores activados por el usuario Por ejemplo, Google Site Verifier actúa sobre la solicitud de un usuario.
Debido a que la búsqueda fue solicitada por un usuario, estos buscadores generalmente ignoran las reglas de robots.txt Los rangos de IP que usan los buscadores activados por el usuario se publican en el objeto user-triggered-fetchers.json”.
La nueva documentación de Google explica que la herramienta Google Site Verifier puede activar la actividad de los bots de las direcciones IP asociadas con GoogleUserContent.com.
El otro cambio en la documentación es una referencia a googleusercontent.com en el contexto de las direcciones IP que se asignan al nombre de dominio, GoogleUserContent.com.
Por último, Google retiró su rastreador Android de aplicaciones móviles.
El token del agente de usuario y la cadena completa eran ambos: AdsBot-Google-Mobile-Apps
Este era el propósito del rastreador ahora retirado:
“Checks Android app page ad quality. Obeys AdsBot-Google robots rules, but ignores the global user agent (*) in robots.txt.”
“Comprueba la calidad de los anuncios de la página de la aplicación de Android Obedece las reglas de robots de AdsBot-Google, pero ignora el agente de usuario global (*) en robots.txt”.
Este es el nuevo texto:
“Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.”
«Verifique que el nombre de dominio sea googlebot.com, google.com o googleusercontent.com».
Otra nueva adición es el siguiente texto que se amplió de la página anterior:
“Alternatively, you can identify Googlebot by IP address by matching the crawler’s IP address to the lists of Google crawlers’ and fetchers’ IP ranges:
Googlebot
Special crawlers like AdsBot
User triggered fetches”
«Alternativamente, puede identificar Googlebot por dirección IP haciendo coincidir la dirección IP del rastreador con las listas de rangos de IP de buscadores y rastreadores de Google:
Robot de Google
Rastreadores especiales como AdsBot
Obtenciones desencadenadas por el usuario”
Documentación de identificación de Google Bot
La nueva documentación finalmente tiene algo sobre los bots que usan direcciones IP asociadas con GoogleUserContent.
Los especialistas en marketing de búsqueda estaban confundidos por esas direcciones IP y asumieron que esos bots eran spam.
Una discusión de la Ayuda de Google Search Console de 2020 muestra cuán confundidas estaban las personas acerca de la actividad asociada con GoogleUserContent.
Muchos en esa discusión concluyeron correctamente que no era Googlebot, pero luego concluyeron erróneamente que era un bot falso que pretendía ser Google.
Un usuario publicó:
“The behaviour I see coming from these addresses is very close (if not identical) to legitimate Googlebot behaviour, and it hits multiple sites of ours.
…If it isn’t – then this seems to indicate there is widespread malicious bot activity by someone trying quite hard to look like Google on our sites which is concerning.”
“El comportamiento que veo proveniente de estas direcciones es muy parecido (si no idéntico) al comportamiento legítimo de Googlebot, y afecta a varios sitios nuestros.
…Si no es así, esto parece indicar que hay una actividad generalizada de bots maliciosos por parte de alguien que se esfuerza por parecerse a Google en nuestros sitios, lo cual es preocupante”.
Después de varias respuestas, la persona que inició la discusión concluye que la actividad de GoogleUserContent era spam.
Ellos escribieron:
“…The Googlebots in question do mimic the official User-Agents, but as it stands the evidence seems to point to them being fake.
I’ll block them for now.”
“…Los Googlebots en cuestión imitan a los User-Agents oficiales, pero tal como está la evidencia parece indicar que son falsos.
Los bloquearé por ahora”.
Ahora sabemos que la actividad de los bots de las IP asociadas con GoogleUserContent no son spam ni bots de piratas informáticos.
Realmente son de Google. Los editores que actualmente están bloqueando las direcciones IP asociadas con GoogleUserContent probablemente deberían desbloquearlas.
La lista actual de direcciones IP de captadores activados por el usuario está disponible aquí. User Triggered Fetcher IP addresses is available here
Lea la documentación actualizada de Google:
Verificación de Googlebot y otros rastreadores de Google Verifying Googlebot and other Google crawlers
Imagen destacada de Shutterstock/Asier Romero
Leer el articulo original en Search Engine Journal.
