Entrenamiento de IA
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.
9 crawlers28 crawlers de IA de OpenAI, Anthropic, Google, Perplexity y otros: qué hace cada uno, su user agent y la regla de robots.txt para permitirlo o bloquearlo.
Comprobado con la documentación de cada operador el 17 de nov. de 2026
| Crawler | Se usa para |
|---|---|
| GPTBotOpenAI | Entrenamiento de IA |
| OAI-SearchBotOpenAI | Búsqueda con IA |
| ChatGPT-UserOpenAI | A petición del usuario |
| OAI-AdsBotOpenAI | Otro |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| A petición del usuario | |
| Búsqueda con IA | |
| Entrenamiento de IA | |
| Otro | |
| A petición del usuario | |
| A petición del usuario | |
| Búsqueda con IA | |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| A petición del usuario | |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| A petición del usuario | |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| A petición del usuario | |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| A petición del usuario | |
| Entrenamiento de IA | |
| Búsqueda con IA | |
| Entrenamiento de IA |
La mayoría de las empresas de IA usan crawlers separados. Bloquea el tipo que no quieres y deja el resto.
Recogen páginas que pueden entrenar modelos. Bloquearlos deja tu contenido futuro fuera de los datos de entrenamiento.
9 crawlersCrean el índice que consultan y citan las respuestas de IA. Bloquearlos puede dejarte fuera de esas respuestas.
9 crawlersDescargan una página cuando una persona lo pide. Los operadores dicen que el robots.txt puede no aplicarse siempre.
8 crawlersEl conjunto de reglas que más piden los sitios. Bloquea todos los crawlers de entrenamiento y tokens de control de este directorio y deja en paz a los de búsqueda y a los activados por el usuario.
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot User-agent: AI2Bot Disallow: /
Qué son los bots y cómo controlarlos.
Bots de empresas de IA que descargan páginas web. Algunos recogen páginas que pueden entrenar modelos (GPTBot, ClaudeBot), otros crean el índice que citan las respuestas de búsqueda con IA (OAI-SearchBot, PerplexityBot) y otros descargan una página cuando una persona lo pide (ChatGPT-User).
Con robots.txt: una línea “User-agent:” con el token del bot y “Disallow: /”. Cada página de bot tiene las reglas para bloquear y permitir listas para copiar, y el verificador de bots de IA muestra qué hace tu archivo actual.
Los operadores de esta lista dicen que sus crawlers siguen el robots.txt. Varios dicen que sus descargas a petición del usuario pueden no hacerlo, porque una persona pidió la página. Cada página de bot recoge lo que documenta su operador.
Tokens de control, no crawlers. Nunca visitan tu sitio; deciden si las páginas que Googlebot o Applebot ya descargaron pueden usarse para entrenar IA (y, en Google-Extended, para fundamentar respuestas en Gemini). No cambian los resultados de búsqueda.
Los user agents se pueden falsificar. La mayoría de los operadores publican rangos de IP (enlazados en cada página de bot) o admiten la comprobación por DNS inverso. Compara la IP de la petición con ellos antes de fiarte del user agent.
Cada bot se comprueba con la documentación de su propio operador, con la fecha visible, y la lista se revisa cada trimestre. Los bots sin fuente primaria no se incluyen.
Mira si GPTBot, ClaudeBot y otros pueden acceder a tu sitio.
Herramienta gratisValida el llms.txt de cualquier sitio según el formato.
DirectorioQué hacen los crawlers de OpenAI y cómo controlarlos.
RastreadorMira si Perplexity te nombra y te cita.
Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.