Directorio de crawlers de IA

28 crawlers de IA de OpenAI, Anthropic, Google, Perplexity y otros: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.

Comprobado con la documentación de cada operador el 17 de nov. de 2026

Crawler Se usa para robots.txt Token en robots.txt
OAI-SearchBotOpenAI Búsqueda con IA Sigue el robots.txt OAI-SearchBot
Claude-SearchBotAnthropic Búsqueda con IA Sigue el robots.txt Claude-SearchBot
GooglebotGoogle Búsqueda con IA Sigue el robots.txt Googlebot
ApplebotApple Búsqueda con IA Sigue el robots.txt Applebot
PerplexityBotPerplexity Búsqueda con IA Sigue el robots.txt PerplexityBot
Meta-WebIndexerMeta Búsqueda con IA Sigue el robots.txt meta-webindexer
Amzn-SearchBotAmazon Búsqueda con IA Sigue el robots.txt Amzn-SearchBot
MistralAI-IndexMistral AI Búsqueda con IA No documentado MistralAI-Index
DuckAssistBotDuckDuckGo Búsqueda con IA Sigue el robots.txt DuckAssistBot

Crawlers de entrenamiento, de búsqueda y a petición del usuario

La mayoría de las empresas de IA usan crawlers separados. Bloquea el tipo que no quieres y deja el resto.

GPTBot ClaudeBot Google-Extended

Entrenamiento de IA

Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.

9 crawlers
OAI-SearchBot Claude-SearchBot Googlebot

Búsqueda con IA

Crean el índice que consultan y citan las respuestas de IA. Bloquearlos puede dejarte fuera de esas respuestas.

9 crawlers
ChatGPT-User Claude-User Google-GeminiNotebook

A petición del usuario

Descargan una página cuando una persona lo pide. Los operadores dicen que el robots.txt puede no aplicarse siempre.

8 crawlers

Bloquear el entrenamiento de IA, seguir en la búsqueda con IA

El conjunto de reglas que más piden los sitios. Bloquea todos los crawlers de entrenamiento y tokens de control de este directorio y deja en paz a los de búsqueda y a los activados por el usuario.

Comprueba qué bots de IA pueden rastrear tu sitio

robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: AI2Bot
Disallow: /

Preguntas sobre crawlers de IA

Qué son los bots y cómo controlarlos.

¿Qué son los crawlers de IA?

Bots de empresas de IA que descargan páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice que citan las respuestas de búsqueda con IA (OAI-SearchBot, PerplexityBot) y otros descargan una página cuando una persona lo pide (ChatGPT-User).

¿Cómo bloqueo los crawlers de IA?

Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot tiene las reglas para bloquear y permitir listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.

¿Los crawlers de IA respetan el robots.txt?

Los operadores de esta lista dicen que sus crawlers siguen el robots.txt. Varios dicen que sus descargas a petición del usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta su operador.

¿Qué son Google-Extended y Applebot-Extended?

Tokens de control, no crawlers. Nunca visitan tu sitio; deciden si las páginas que Googlebot o Applebot ya descargaron pueden usarse para entrenar IA (y, en Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.

¿Cómo compruebo que una petición viene de verdad de un crawler de IA?

Los user agents se pueden falsificar. La mayoría de los operadores publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP de la petición con ellos antes de fiarte del user agent.

¿Cada cuánto se actualiza esta lista?

Cada bot se comprueba con la documentación de su propio operador, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente primaria no se incluyen.

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.