¿Qué es GPTBot y qué crawlers de IA importan?
GPTBot es el crawler de OpenAI que recoge páginas que pueden entrenar sus modelos. OpenAI tiene dos más: OAI-SearchBot, que muestra sitios en la búsqueda de ChatGPT, y ChatGPT-User, que descarga una página cuando una persona lo pide.
La mayoría de las empresas de IA separan hoy sus crawlers igual: uno para entrenamiento, otro para búsqueda y otro para peticiones de usuarios. Bloquear el de entrenamiento no bloquea el de búsqueda, y es el de búsqueda el que permite que las respuestas te citen.
El robots.txt es una petición, no un muro: los operadores de abajo dicen que sus crawlers lo siguen, y algunos dicen que las reglas pueden no aplicarse a las descargas pedidas por usuarios. Los firewalls y las CDN también bloquean bots, y eso el robots.txt no lo muestra. Explora el directorio de crawlers de IA.