User agent e regras de robots.txt do AI2Bot

O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.

Treino de IA Não documentado Ai2

User agent

Como na documentação do Ai2. O número da versão muda; compare pelo token.

User agent
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Regras de robots.txt para o AI2Bot

Cole um dos blocos no robots.txt na raiz do seu domínio. A mudança pode levar até um dia para ser lida.

Bloquear o AI2Bot

Bloqueia todos os caminhos para o AI2Bot. Isso tira suas páginas futuras do que O Ai2 pode usar para treino. Não muda resultados de busca.

robots.txt
User-agent: AI2Bot
Disallow: /

Permitir o AI2Bot

Deixa o AI2Bot buscar todos os caminhos, diga o que disser o “User-agent: *”.

robots.txt
User-agent: AI2Bot
Allow: /

Bom saber

A página do Ai2 não diz como ele lê o robots.txt; ela sugere filtrar pelo user agent.

Perguntas sobre o AI2Bot

O que é o AI2Bot?

O AI2Bot é o crawler do Allen Institute for AI (Ai2). Ele encontra conteúdo da web que o Ai2 usa para treinar seus modelos de linguagem abertos.

Como bloqueio o AI2Bot?

Acrescente “User-agent: AI2Bot” e “Disallow: /” ao seu robots.txt. Isso tira suas páginas futuras do que O Ai2 pode usar para treino. Não muda resultados de busca.

O AI2Bot respeita o robots.txt?

A documentação do Ai2 não diz. Bloqueie no robots.txt e, se precisar, no firewall pelos IPs publicados.

Qual é o user agent do AI2Bot?

O Ai2 documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. O número da versão muda, então compare por “AI2Bot”.

Como confirmo pedidos do AI2Bot?

O Ai2 não publica lista de IPs para o AI2Bot. Trate o user agent como indício, não como prova.

Fonte: allenai.org, conferida em 17 de nov de 2026. Diretório de crawlers de IA

Arquivos são o começo. Respostas são o resultado.

As perguntas dos seus compradores em oito motores de IA, na sua agenda, com histórico. Grátis por 7 dias.