User agent y reglas de robots.txt de AI2Bot
AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.
User agent
Tal como lo documenta Ai2. El número de versión cambia; compara por el token.
Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)
Reglas de robots.txt para AI2Bot
Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.
Bloquear AI2Bot
Bloquea todas las rutas para AI2Bot. Así tus páginas futuras quedan fuera de lo que Ai2 puede usar para entrenamiento. No cambia los resultados de búsqueda.
User-agent: AI2Bot Disallow: /
Permitir AI2Bot
Deja que AI2Bot descargue todas las rutas, diga lo que diga “User-agent: *”.
User-agent: AI2Bot Allow: /
Conviene saber
La página de Ai2 no dice cómo lee el robots.txt; sugiere filtrar por el user agent.
Preguntas sobre AI2Bot
¿Qué es AI2Bot?
AI2Bot es el crawler del Allen Institute for AI (Ai2). Encuentra contenido web que Ai2 usa para entrenar sus modelos de lenguaje abiertos.
¿Cómo bloqueo AI2Bot?
Añade “User-agent: AI2Bot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de lo que Ai2 puede usar para entrenamiento. No cambia los resultados de búsqueda.
¿AI2Bot respeta el robots.txt?
La documentación de Ai2 no lo dice. Bloquéalo en robots.txt y, si hace falta, en el firewall por sus IP publicadas.
¿Cuál es el user agent de AI2Bot?
Ai2 lo documenta como “Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)”. El número de versión cambia, así que compara por “AI2Bot”.
¿Cómo compruebo las peticiones de AI2Bot?
Ai2 no publica una lista de IP para AI2Bot. Toma el user agent como indicio, no como prueba.
Fuente: allenai.org, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA
Los archivos son el comienzo. Las respuestas, el resultado.
Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.