Diretório de crawlers de IA

28 crawlers de IA da OpenAI, Anthropic, Google, Perplexity e outros: o que cada um faz, o user agent e a regra de robots.txt para permitir ou bloquear.

Conferido na documentação de cada operador em 17 de nov de 2026

Crawler Usado para robots.txt Token no robots.txt
OAI-AdsBotOpenAI Outro Não documentado OAI-AdsBot
Google-CloudVertexBotGoogle Outro Segue o robots.txt Google-CloudVertexBot

Crawlers de treino, de busca e acionados pelo usuário

A maioria das empresas de IA tem crawlers separados. Bloqueie o tipo que você não quer e mantenha o resto.

GPTBot ClaudeBot Google-Extended

Treino de IA

Coletam páginas que podem treinar modelos. Bloqueá-los tira o conteúdo futuro dos dados de treino.

9 crawlers
OAI-SearchBot Claude-SearchBot Googlebot

Busca com IA

Montam o índice que as respostas de IA consultam e citam. Bloqueá-los pode tirar você dessas respostas.

9 crawlers
ChatGPT-User Claude-User Google-GeminiNotebook

A pedido do usuário

Buscam uma página quando uma pessoa pede. Os operadores dizem que o robots.txt pode nem sempre valer.

8 crawlers

Bloquear o treino de IA, ficar na busca com IA

O conjunto de regras que a maioria dos sites pede. Bloqueia todo crawler de treino e token de controle deste diretório e deixa em paz os de busca e os acionados pelo usuário.

Veja quais bots de IA podem rastrear seu site

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Perguntas sobre crawlers de IA

O que são os bots e como controlá-los.

O que são crawlers de IA?

Bots de empresas de IA que buscam páginas web. Alguns coletam páginas que podem treinar modelos (GPTBot, ClaudeBot), outros montam o índice que as respostas de busca com IA citam (OAI-SearchBot, PerplexityBot) e outros buscam uma página quando uma pessoa pede (ChatGPT-User).

Como bloqueio crawlers de IA?

Com o robots.txt: uma linha “User-agent:” com o token do bot e “Disallow: /”. Cada página de bot traz as regras de bloquear e permitir para copiar, e o verificador de bots de IA mostra o que o seu arquivo atual faz.

Os crawlers de IA respeitam o robots.txt?

Os operadores listados aqui dizem que seus crawlers seguem o robots.txt. Vários dizem que os buscadores acionados pelo usuário podem não seguir, porque uma pessoa pediu a página. Cada página de bot cita o que o operador documenta.

O que são Google-Extended e Applebot-Extended?

Tokens de controle, não crawlers. Eles nunca visitam o seu site; decidem se páginas que o Googlebot ou o Applebot já buscaram podem ser usadas para treino de IA (e, no Google-Extended, para fundamentar respostas no Gemini). Não mudam os resultados de busca.

Como confirmo que um pedido vem mesmo de um crawler de IA?

User agents podem ser falsificados. A maioria dos operadores publica faixas de IP (com link em cada página de bot) ou aceita checagem por DNS reverso. Compare o IP do pedido com elas antes de confiar no user agent.

Com que frequência esta lista é atualizada?

Cada bot é conferido na documentação do próprio operador, com a data mostrada, e a lista é revisada a cada trimestre. Bots sem fonte primária não entram.

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.