O que é o GPTBot, e quais crawlers de IA importam?
O GPTBot é o crawler da OpenAI que coleta páginas que podem treinar os modelos dela. A OpenAI tem mais dois: o OAI-SearchBot, que mostra sites na busca do ChatGPT, e o ChatGPT-User, que busca uma página quando uma pessoa pede.
A maioria das empresas de IA hoje separa os crawlers do mesmo jeito: um para treino, um para busca, um para pedidos de usuários. Bloquear o de treino não bloqueia o de busca, e é o de busca que permite que as respostas citem você.
O robots.txt é um pedido, não um muro: os operadores abaixo dizem que seus crawlers o seguem, e alguns dizem que as regras podem não valer para buscas pedidas por usuários. Firewalls e CDNs também bloqueiam bots, e isso o robots.txt não mostra. Veja o diretório de crawlers de IA.