User agent y reglas de robots.txt de Googlebot

Googlebot es el crawler de la Búsqueda de Google. AI Overviews y AI Mode son funciones de la Búsqueda, así que las reglas de robots.txt de Googlebot también las controlan.

Búsqueda con IA Sigue el robots.txt Google

User agent

Tal como lo documenta Google. El número de versión cambia; compara por el token.

User agent
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Reglas de robots.txt para Googlebot

Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.

Bloquear Googlebot

Bloquea todas las rutas para Googlebot. Así tus páginas quedan fuera del índice de búsqueda con IA de Google, y sus respuestas no pueden citarlas.

robots.txt
User-agent: Googlebot
Disallow: /

Permitir Googlebot

Deja que Googlebot descargue todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: Googlebot
Allow: /

Conviene saber

Bloquear Googlebot también te saca de la Búsqueda de Google normal. Para limitar lo que muestran las funciones de IA, Google remite a nosnippet, data-nosnippet, max-snippet o noindex.

Preguntas sobre Googlebot

¿Qué es Googlebot?

Googlebot es el crawler de la Búsqueda de Google. AI Overviews y AI Mode son funciones de la Búsqueda, así que las reglas de robots.txt de Googlebot también las controlan.

¿Cómo bloqueo Googlebot?

Añade “User-agent: Googlebot” y “Disallow: /” a tu robots.txt. Así tus páginas quedan fuera del índice de búsqueda con IA de Google, y sus respuestas no pueden citarlas.

¿Googlebot respeta el robots.txt?

Sí. Google dice que Googlebot sigue las reglas de robots.txt escritas para él.

¿Cuál es el user agent de Googlebot?

Google lo documenta como “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. El número de versión cambia, así que compara por “Googlebot”.

¿Cómo compruebo las peticiones de Googlebot?

Compara la IP de la petición con la lista publicada de Google (https://developers.google.com/static/search/apis/ipranges/googlebot.json). El user agent por sí solo se puede falsificar.

Fuente: developers.google.com, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.