User agent y reglas de robots.txt de Meta-WebIndexer

Meta-WebIndexer analiza contenido de la web para mejorar los resultados de búsqueda de Meta AI. Permitirlo deja que Meta AI cite tus páginas en sus respuestas.

Búsqueda con IA Sigue el robots.txt Meta

User agent

Tal como lo documenta Meta. El número de versión cambia; compara por el token.

User agent
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Reglas de robots.txt para Meta-WebIndexer

Pega un bloque en el robots.txt de la raíz de tu dominio. El cambio puede tardar hasta un día en leerse.

Bloquear Meta-WebIndexer

Bloquea todas las rutas para Meta-WebIndexer. Así tus páginas quedan fuera del índice de búsqueda con IA de Meta, y sus respuestas no pueden citarlas.

robots.txt
User-agent: meta-webindexer
Disallow: /

Permitir Meta-WebIndexer

Deja que Meta-WebIndexer descargue todas las rutas, diga lo que diga “User-agent: *”.

robots.txt
User-agent: meta-webindexer
Allow: /

Conviene saber

Meta dice que sus crawlers pueden guardar tu robots.txt en caché hasta 24 horas.

Preguntas sobre Meta-WebIndexer

¿Qué es Meta-WebIndexer?

Meta-WebIndexer analiza contenido de la web para mejorar los resultados de búsqueda de Meta AI. Permitirlo deja que Meta AI cite tus páginas en sus respuestas.

¿Cómo bloqueo Meta-WebIndexer?

Añade “User-agent: meta-webindexer” y “Disallow: /” a tu robots.txt. Así tus páginas quedan fuera del índice de búsqueda con IA de Meta, y sus respuestas no pueden citarlas.

¿Meta-WebIndexer respeta el robots.txt?

Sí. Meta dice que Meta-WebIndexer sigue las reglas de robots.txt escritas para él.

¿Cuál es el user agent de Meta-WebIndexer?

Meta lo documenta como “meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)”. El número de versión cambia, así que compara por “meta-webindexer”.

¿Cómo compruebo las peticiones de Meta-WebIndexer?

Meta no publica una lista de IP para Meta-WebIndexer. Toma el user agent como indicio, no como prueba.

Fuente: developers.facebook.com, comprobada el 17 de nov. de 2026. Directorio de crawlers de IA

Los archivos son el comienzo. Las respuestas, el resultado.

Las preguntas de tus compradores en ocho motores de IA, en tu calendario y con historial. Gratis durante 7 días.