User agent y reglas de robots.txt de CCBot

CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.

Entrenamiento de IA Sigue el robots.txt Common Crawl

User agent

Tal como lo documenta Common Crawl. El número de versión cambia; compara por el token.

User agent
CCBot/2.0 (https://commoncrawl.org/faq/)

Reglas de robots.txt para CCBot

Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.

Bloquear CCBot

Bloquea todas las rutas para CCBot. Así tus páginas futuras quedan fuera de lo que Common Crawl puede usar para entrenamiento. No cambia los resultados de búsqueda.

robots.txt
User-agent: CCBot
Disallow: /

Permitir CCBot

Deja que CCBot descargue todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: CCBot
Allow: /

Conviene saber

A veces otros falsifican su user agent. Common Crawl publica sus rangos de IP y admite DNS inverso bajo crawl.commoncrawl.org.

Preguntas sobre CCBot

¿Qué es CCBot?

CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.

¿Cómo bloqueo CCBot?

Añade “User-agent: CCBot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de lo que Common Crawl puede usar para entrenamiento. No cambia los resultados de búsqueda.

¿CCBot respeta el robots.txt?

Sí. Common Crawl dice que CCBot sigue las reglas de robots.txt escritas para él.

¿Cuál es el user agent de CCBot?

Common Crawl lo documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. El número de versión cambia, así que compara por “CCBot”.

¿Cómo compruebo las peticiones de CCBot?

Compara la IP de la petición con la lista publicada de Common Crawl (https://index.commoncrawl.org/ccbot.json). El user agent por sí solo se puede falsificar.

Fuente: commoncrawl.org, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.