Antes de leer una página, un robot de IA lee un archivo que dice qué tiene derecho a hacer con ella. Ese archivo existe en la mayoría de los sitios. Esta medición mira qué responde, y sobre todo quién lo escribió.
El 85,3 % de los sitios medidos publica un robots.txt. Ese archivo tiene una historia: fue escrito para los motores de búsqueda, en una época en la que la pregunta era qué páginas se indexarían. La mitad de estos archivos cabe en un solo grupo de instrucciones, y ese grupo se dirige a todos a la vez.
Los robots de IA leen el mismo archivo y buscan en él su propio nombre. No lo encuentran en el 97 % de los sitios. No es un rechazo, tampoco una autorización meditada: es una pregunta que aún no se ha planteado, sobre un archivo que tiene diez años más que ella.
Cada robot tiene su propio grupo en un robots.txt, así que un sitio responde por separado a OpenAI, a Google y a Common Crawl. La tabla lee esas respuestas una por una.
| Robot | Operado por | Qué hace con la página | Sitios que lo rechazan |
|---|---|---|---|
| CCBot | Common Crawl | Entrena un modelo | 2,0 % |
| GPTBot | OpenAI | Entrena un modelo | 2,0 % |
| Bytespider | ByteDance | Entrena un modelo | 1,8 % |
| ClaudeBot | Anthropic | Entrena un modelo | 1,8 % |
| Google-Extended | Entrena un modelo | 1,8 % | |
| Meta-ExternalAgent | Meta | Entrena un modelo | 1,7 % |
| Applebot-Extended | Apple | Entrena un modelo | 1,6 % |
| ChatGPT-User | OpenAI | Va a leer la página cuando alguien pregunta | 0,3 % |
| PerplexityBot | Perplexity | Alimenta un motor de respuestas | 0,1 % |
| OAI-SearchBot | OpenAI | Alimenta un motor de respuestas | 0,1 % |
La diferencia es nítida y se sostiene sola: los robots que entrenan modelos son rechazados en torno al 2 %, los que van a buscar una página para responder a una pregunta veinte veces menos. El parque francés acepta ser citado y rechaza ser aprendido.
Rechazar el entrenamiento protege un contenido que una empresa pagó por producir. Es una decisión defendible, y el 2,2 % de los sitios la ha tomado explícitamente.
Cerrar la puerta a los motores de respuestas produce otra: su sitio deja de ser una fuente citable justo en el momento en que sus clientes hacen sus preguntas a una IA en lugar de a un motor de búsqueda. El 3,1 % de los sitios medidos está en ese caso sin haberlo querido, por una instrucción escrita para todos los robots mucho antes de que estos existieran.
Las dos decisiones se toman en el mismo archivo, en tres líneas. Falta poder escribirlo.
Un robots.txt lo sirve la máquina que sirve el sitio. Cuando ese sitio vive en una plataforma cerrada, es la plataforma la que lo redacta, lo aplica a todos sus clientes a la vez y lo actualiza cuando ella lo decide.
Hemos releído 2 500 de los archivos de la medición para ver cuáles llevaban la firma de una plantilla de plataforma. La tabla siguiente da lo que cada una responde por sus clientes.
| Plataforma | Sitios del sorteo | Grupos de instrucciones |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Archivo sin firma de plataforma | 2410 | 1 |
Squarespace sirve a sus clientes un archivo que nombra a una treintena de robots, entre ellos todos los de la tabla anterior, y no rechaza a ninguno. Shopify sirve uno que no nombra a ninguno. En ambos casos la respuesta es la misma para miles de sitios, y el propietario de uno de esos sitios ni escribió esa respuesta ni tiene medios para cambiarla.
Eso distingue un sitio que se posee de un sitio que se ocupa. La cuestión de los robots de IA llegó en dos años; la siguiente llegará igual de rápido, y se resolverá en el mismo lugar, en un archivo que alguien debe poder escribir para usted.
Serenity es un sitio web creado, alojado, asegurado y mantenido al día por Simafri, que crea, aloja y mantiene sitios de empresas desde 2002. El nombre de dominio se registra a nombre del cliente, y se incluye una cuenta Simafri Suite.
Marco de sorteo: los 4 590 553 dominios .fr activos del archivo de datos abiertos de Afnic Afnic, fichier des domaines .fr actifs. De él se sortea un panel de 15 000 dominios, ordenados por la huella sha256 de cada nombre, lo que permite a cualquiera reconstruir el mismo panel a partir de la semilla publicada. El panel sigue siendo el mismo de una medición a otra.
Cadena de lectura: el 3 de septiembre de 2026, 10 301 de esos dominios sirvieron una página. Para cada uno se pidió el archivo robots.txt en la misma conversación. El 98 % devolvió una política establecida, es decir un archivo legible o una respuesta que dice que no lo hay, lo que lo autoriza todo. Las cifras se refieren a esos.
Qué cuenta como rechazo: un robot es rechazado cuando su propio grupo de instrucciones le prohíbe la raíz del sitio. Un grupo que se dirige a todos los robots a la vez se anota aparte, porque trata del rastreo en general y no dice nada de la IA. Un sitio cuya plataforma nombra robots dentro de ese grupo general no cuenta, por tanto, como haber tomado una decisión.
Qué no se leyó: nada que exija acceso al sitio, a su administración o a su alojamiento. Una petición para la página, una para el archivo.
Alcance: el panel sortea entre todos los dominios .fr activos, empresas, asociaciones y particulares juntos, sin cualificación por número de empresa, a diferencia de nuestras otras dos mediciones. Las cifras describen por tanto el parque francés en su conjunto. La lectura de plataformas cubre 2 500 sitios sorteados entre los que sirven un archivo.
Las cifras del parque proceden de un índice público que publica su método, su panel fechado y su serie semanal, leído el 3 de septiembre de 2026. La serie se sirve en JSON, robot por robot, y se puede rejugar.
Ver el índice y su método (Stileex)
El panel se mide cada semana, lo que dirá si el parque se mueve en esta cuestión y en qué sentido.
Simafri es el aliado técnico de su empresa desde 2002: creamos su sitio, lo alojamos, lo mantenemos y lo tenemos al día, con su nombre de dominio registrado a su nombre. Usted decide quién puede aprender de sus páginas y quién puede citarlas, nosotros hacemos el gesto. Escríbanos y miramos su caso juntos.
Simafri
Hablemos de su proyecto
Díganos en pocas palabras lo que necesita: le respondemos rápidamente.
¿Prefiere el correo? Escríbanos a support@simafri.com.
¿El formulario no aparece? Escríbanos directamente:
support@simafri.com