Qué es AnswerHawkBot
AnswerHawk sigue cómo responden los motores de IA a preguntas sobre marcas. Las respuestas llegan de los motores a través de proveedores de datos y APIs oficiales; AnswerHawkBot no se usa para eso. Solo descarga algunas cosas de sitios web, y cada solicitud lleva el user agent de arriba.
Cuándo visita y qué lee
| Solicitud | Cuándo | Qué lee | robots.txt | Límite |
|---|---|---|---|---|
| Comprobación de página citada | Después de que una respuesta de IA cite una página, como máximo una vez por semana por página y marca | La página citada, para ver si incluye la marca seguida | Lo respeta | 10 / min por sitio |
| Favicon | Para dominios que aparecen en un proyecto, cada 30 días | El <head> de la página de inicio y /favicon.ico | Archivo estándar | 6 / min por sitio |
| Datos del sitio | Cuando alguien introduce tu dominio en el onboarding o en el verificador gratuito de visibilidad en IA | El título y la descripción de la página de inicio | Bajo petición | Una solicitud cada vez |
| Herramientas gratuitas | Cuando alguien usa el verificador de llms.txt, el generador de llms.txt o el verificador de bots de IA con tu dominio | robots.txt, llms.txt, llms-full.txt, sitemaps y algunas páginas | Bajo petición | 20 / min por sitio |
| Directorio de llms.txt | Sitios del directorio, cada 30 días | robots.txt y luego /llms.txt | Lo respeta | 20 / min por sitio |
Cómo se comporta
- solo solicitudes
GETa URLs públicas; nunca envía formularios, inicia sesión, guarda cookies ni ejecuta JavaScript; - tiempos de espera explícitos (8 segundos por solicitud), como máximo 4 redirecciones y un límite de tamaño en cada respuesta;
- límites de acceso por sitio (ver la tabla), para que un sitio nunca reciba ráfagas nuestras;
- solo direcciones públicas de internet: las direcciones privadas, locales y reservadas se rechazan en cada redirección;
- los resultados se guardan en caché: una página citada se comprueba como máximo una vez por semana para cada marca.
Qué guardamos
- páginas citadas: solo la respuesta sí/no a "¿esta página incluye la marca?", durante 7 días. El contenido de la página no se guarda;
- favicons: el archivo del icono, renovado cada 30 días, que se muestra junto a tu dominio en la app;
- directorio de llms.txt: una copia de los archivos llms.txt públicos y su historial, que se muestran en la página del directorio;
- nada de lo que descargamos se vende ni se usa para entrenar modelos de IA.
Controla el acceso con robots.txt
La comprobación de páginas citadas y el directorio de llms.txt respetan robots.txt. Leen el grupo de AnswerHawkBot (o * si no hay uno). Para bloquearlos en todo el sitio:
User-agent: AnswerHawkBot
Disallow: /
Para bloquear solo una parte del sitio:
User-agent: AnswerHawkBot
Disallow: /privado/
Los favicons son archivos públicos estándar, y las herramientas gratuitas solo leen robots.txt, llms.txt y sitemaps cuando alguien lo pide. Si quieres que dejemos de hacer cualquier solicitud a tu dominio, contáctanos y lo excluiremos.
Cómo verificar una solicitud
Las solicitudes reales envían exactamente el user agent de arriba y salen de los servidores de AnswerHawk. Todavía no publicamos una lista fija de direcciones IP. Si ves tráfico que usa nuestro nombre sin seguir estas reglas, avísanos con la hora, la URL y la dirección IP.
¿Buscas los bots de las empresas de IA (GPTBot, ClaudeBot, PerplexityBot…)? Consulta el directorio de bots de IA o prueba tu sitio con el verificador de bots de IA.