User agent e regras de robots.txt do Googlebot

O Googlebot é o crawler da Busca do Google. AI Overviews e AI Mode são recursos da Busca, então as regras de robots.txt do Googlebot também os controlam.

Busca com IA Segue o robots.txt Google

User agent

Como na documentação do Google. O número da versão muda; compare pelo token.

User agent
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Regras de robots.txt para o Googlebot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o Googlebot

Bloqueia todos os caminhos para o Googlebot. Isso tira suas páginas do índice de busca com IA do Google, então as respostas não podem citá-las.

robots.txt
User-agent: Googlebot
Disallow: /

Permitir o Googlebot

Deixa o Googlebot buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: Googlebot
Allow: /

Bom saber

Bloquear o Googlebot também tira você da Busca do Google comum. Para limitar o que os recursos de IA mostram, o Google indica nosnippet, data-nosnippet, max-snippet ou noindex.

Perguntas sobre o Googlebot

O que é o Googlebot?

O Googlebot é o crawler da Busca do Google. AI Overviews e AI Mode são recursos da Busca, então as regras de robots.txt do Googlebot também os controlam.

Como bloqueio o Googlebot?

Acrescente “User-agent: Googlebot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas do índice de busca com IA do Google, então as respostas não podem citá-las.

O Googlebot respeita o robots.txt?

Sim. O Google diz que o Googlebot segue as regras do robots.txt escritas para ele.

Qual é o user agent do Googlebot?

O Google documenta como “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. O número da versão muda, então compare por “Googlebot”.

Como confirmo pedidos do Googlebot?

Compare o IP do pedido com a lista publicada do Google (https://developers.google.com/static/search/apis/ipranges/googlebot.json). Só o user agent pode ser falsificado.

Fonte: developers.google.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.