User agent e regras de robots.txt do Claude-SearchBot

O Claude-SearchBot rastreia a web para melhorar a relevância e a precisão das respostas de busca do Claude. Bloqueá-lo tira suas páginas desse índice.

Busca com IA Segue o robots.txt Anthropic

User agent

A Anthropic documenta só o nome: os pedidos contêm “Claude-SearchBot”.

Regras de robots.txt para o Claude-SearchBot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o Claude-SearchBot

Bloqueia todos os caminhos para o Claude-SearchBot. Isso tira suas páginas do índice de busca com IA da Anthropic, então as respostas não podem citá-las.

robots.txt
User-agent: Claude-SearchBot
Disallow: /

Permitir o Claude-SearchBot

Deixa o Claude-SearchBot buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: Claude-SearchBot
Allow: /

Bom saber

A Anthropic observa que bloqueá-lo pode reduzir sua visibilidade nos resultados de busca dos usuários.

Perguntas sobre o Claude-SearchBot

O que é o Claude-SearchBot?

O Claude-SearchBot rastreia a web para melhorar a relevância e a precisão das respostas de busca do Claude. Bloqueá-lo tira suas páginas desse índice.

Como bloqueio o Claude-SearchBot?

Acrescente “User-agent: Claude-SearchBot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas do índice de busca com IA da Anthropic, então as respostas não podem citá-las.

O Claude-SearchBot respeita o robots.txt?

Sim. A Anthropic diz que o Claude-SearchBot segue as regras do robots.txt escritas para ele.

Qual é o user agent do Claude-SearchBot?

A Anthropic documenta o nome “Claude-SearchBot”, que aparece nos pedidos.

Como confirmo pedidos do Claude-SearchBot?

Compare o IP do pedido com a lista publicada da Anthropic (https://claude.com/crawling/bots.json). Só o user agent pode ser falsificado.

Fonte: support.claude.com, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.