User agent y reglas de robots.txt de CCBot
CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.
User agent
Tal como lo documenta Common Crawl. El número de versión cambia; compara por el token.
CCBot/2.0 (https://commoncrawl.org/faq/)
Reglas de robots.txt para CCBot
Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.
Bloquear CCBot
Bloquea todas las rutas para CCBot. Así tus páginas futuras quedan fuera de lo que Common Crawl puede usar para entrenamiento. No cambia los resultados de búsqueda.
User-agent: CCBot Disallow: /
Permitir CCBot
Deja que CCBot descargue todas las rutas, diga lo que diga “User-agent: *”.
User-agent: CCBot Allow: /
Conviene saber
A veces otros falsifican su user agent. Common Crawl publica sus rangos de IP y admite DNS inverso bajo crawl.commoncrawl.org.
Preguntas sobre CCBot
¿Qué es CCBot?
CCBot es el crawler de Common Crawl. Crea un archivo abierto de la web que se puede descargar gratis y que se usa mucho como dato de entrenamiento de IA.
¿Cómo bloqueo CCBot?
Añade “User-agent: CCBot” y “Disallow: /” a tu robots.txt. Así tus páginas futuras quedan fuera de lo que Common Crawl puede usar para entrenamiento. No cambia los resultados de búsqueda.
¿CCBot respeta el robots.txt?
Sí. Common Crawl dice que CCBot sigue las reglas de robots.txt escritas para él.
¿Cuál es el user agent de CCBot?
Common Crawl lo documenta como “CCBot/2.0 (https://commoncrawl.org/faq/)”. El número de versión cambia, así que compara por “CCBot”.
¿Cómo compruebo las peticiones de CCBot?
Compara la IP de la petición con la lista publicada de Common Crawl (https://index.commoncrawl.org/ccbot.json). El user agent por sí solo se puede falsificar.
Fuente: commoncrawl.org, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA
Los archivos son el comienzo. Las respuestas, el resultado.
Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.