User agent e regras de robots.txt do Googlebot
O Googlebot é o crawler da Busca do Google. AI Overviews e AI Mode são recursos da Busca, então as regras de robots.txt do Googlebot também os controlam.
User agent
Como na documentação do Google. O número da versão muda; compare pelo token.
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Regras de robots.txt para o Googlebot
Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.
Bloquear o Googlebot
Bloqueia todos os caminhos para o Googlebot. Isso tira suas páginas do índice de busca com IA do Google, então as respostas não podem citá-las.
User-agent: Googlebot Disallow: /
Permitir o Googlebot
Deixa o Googlebot buscar todos os caminhos, diga o que disser o “User-agent: *”.
User-agent: Googlebot Allow: /
Bom saber
Bloquear o Googlebot também tira você da Busca do Google comum. Para limitar o que os recursos de IA mostram, o Google indica nosnippet, data-nosnippet, max-snippet ou noindex.
Outros crawlers do Google
Google-Extended
O Google-Extended é um token de robots.txt, não um crawler. Ele controla se páginas que o Google…
OutroGoogle-CloudVertexBot
O Google-CloudVertexBot faz rastreamentos pedidos pelos donos de sites para montar agentes da…
A pedido do usuárioGoogle-GeminiNotebook
O Google-GeminiNotebook busca as URLs que as pessoas adicionam como fontes em projetos do Gemini…
A pedido do usuárioGoogle-Agent
O Google-Agent é usado por agentes na infraestrutura do Google que navegam na web e agem a…
Perguntas sobre o Googlebot
O que é o Googlebot?
O Googlebot é o crawler da Busca do Google. AI Overviews e AI Mode são recursos da Busca, então as regras de robots.txt do Googlebot também os controlam.
Como bloqueio o Googlebot?
Acrescente “User-agent: Googlebot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas do índice de busca com IA do Google, então as respostas não podem citá-las.
O Googlebot respeita o robots.txt?
Sim. O Google diz que o Googlebot segue as regras do robots.txt escritas para ele.
Qual é o user agent do Googlebot?
O Google documenta como “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. O número da versão muda, então compare por “Googlebot”.
Como confirmo pedidos do Googlebot?
Compare o IP do pedido com a lista publicada do Google (https://developers.google.com/static/search/apis/ipranges/googlebot.json). Só o user agent pode ser falsificado.
Fonte: developers.google.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA
Arquivos são o começo. Respostas são o resultado.
As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.