User agent y reglas de robots.txt de Meta-ExternalFetcher

Meta-ExternalFetcher descarga enlaces concretos a petición de un usuario, por ejemplo para ayudar a Meta AI a completar una tarea en un sitio.

A petición del usuario Puede ignorar el robots.txt Meta

User agent

Tal como lo documenta Meta. El número de versión cambia; compara por el token.

User agent
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Reglas de robots.txt para Meta-ExternalFetcher

Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.

Bloquear Meta-ExternalFetcher

Bloquea todas las rutas para Meta-ExternalFetcher. Así le pides a Meta que no descargue tus páginas cuando sus usuarios lo pidan, aunque Meta dice que las descargas activadas por el usuario pueden no seguir siempre el robots.txt.

robots.txt
User-agent: meta-externalfetcher
Disallow: /

Permitir Meta-ExternalFetcher

Deja que Meta-ExternalFetcher descargue todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: meta-externalfetcher
Allow: /

Conviene saber

Meta dice que puede saltarse el robots.txt, porque la descarga la pidió un usuario.

Preguntas sobre Meta-ExternalFetcher

¿Qué es Meta-ExternalFetcher?

Meta-ExternalFetcher descarga enlaces concretos a petición de un usuario, por ejemplo para ayudar a Meta AI a completar una tarea en un sitio.

¿Cómo bloqueo Meta-ExternalFetcher?

Añade “User-agent: meta-externalfetcher” y “Disallow: /” a tu robots.txt. Así le pides a Meta que no descargue tus páginas cuando sus usuarios lo pidan, aunque Meta dice que las descargas activadas por el usuario pueden no seguir siempre el robots.txt.

¿Meta-ExternalFetcher respeta el robots.txt?

Meta dice que, como una persona inicia estas peticiones, las reglas de robots.txt pueden no aplicarse a Meta-ExternalFetcher.

¿Cuál es el user agent de Meta-ExternalFetcher?

Meta lo documenta como “meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)”. El número de versión cambia, así que compara por “meta-externalfetcher”.

¿Cómo compruebo las peticiones de Meta-ExternalFetcher?

Meta no publica una lista de IP para Meta-ExternalFetcher. Toma el user agent como indicio, no como prueba.

Fuente: developers.facebook.com, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.