Antes de ler uma página, um robô de IA lê um arquivo que diz o que ele tem o direito de fazer com ela. Esse arquivo existe na maioria dos sites. Este levantamento olha o que ele responde, e sobretudo quem o escreveu.
85,3 % dos sites levantados publicam um robots.txt. Esse arquivo tem uma história: foi escrito para os mecanismos de busca, numa época em que a questão era saber quais páginas seriam indexadas. Metade desses arquivos cabe em um único grupo de instruções, e esse grupo se dirige a todo mundo ao mesmo tempo.
Os robôs de IA leem o mesmo arquivo e procuram nele o próprio nome. Não o encontram em 97 % dos sites. Não é uma recusa nem uma autorização pensada: é uma pergunta que ainda não foi feita, num arquivo dez anos mais velho que ela.
Cada robô tem seu próprio grupo num robots.txt, então um site responde separadamente à OpenAI, ao Google e ao Common Crawl. A tabela lê essas respostas uma a uma.
| Robô | Operado por | O que faz com a página | Sites que o recusam |
|---|---|---|---|
| CCBot | Common Crawl | Treina um modelo | 2,0 % |
| GPTBot | OpenAI | Treina um modelo | 2,0 % |
| Bytespider | ByteDance | Treina um modelo | 1,8 % |
| ClaudeBot | Anthropic | Treina um modelo | 1,8 % |
| Google-Extended | Treina um modelo | 1,8 % | |
| Meta-ExternalAgent | Meta | Treina um modelo | 1,7 % |
| Applebot-Extended | Apple | Treina um modelo | 1,6 % |
| ChatGPT-User | OpenAI | Vai ler a página quando alguém faz a pergunta | 0,3 % |
| PerplexityBot | Perplexity | Alimenta um mecanismo de resposta | 0,1 % |
| OAI-SearchBot | OpenAI | Alimenta um mecanismo de resposta | 0,1 % |
A diferença é nítida e se sustenta sozinha: os robôs que treinam modelos são recusados por cerca de 2 %, os que vão buscar uma página para responder a uma pergunta vinte vezes menos. O parque francês aceita ser citado e recusa ser aprendido.
Recusar o treinamento protege um conteúdo que uma empresa pagou para produzir. É uma decisão defensável, e 2,2 % dos sites a tomaram explicitamente.
Fechar a porta aos mecanismos de resposta produz outra: seu site deixa de ser uma fonte citável no momento exato em que seus clientes fazem suas perguntas a uma IA em vez de a um mecanismo de busca. 3,1 % dos sites levantados estão nesse caso sem terem querido, por uma instrução escrita para todos os robôs muito antes de eles existirem.
As duas decisões se tomam no mesmo arquivo, em três linhas. Falta poder escrevê-lo.
Um robots.txt é servido pela máquina que serve o site. Quando esse site vive numa plataforma fechada, é a plataforma que o redige, o aplica a todos os seus clientes ao mesmo tempo e o atualiza quando ela decide.
Relemos 2 500 dos arquivos do levantamento para ver quais traziam a assinatura de um modelo de plataforma. A tabela abaixo dá o que cada uma responde por seus clientes.
| Plataforma | Sites do sorteio | Grupos de instruções |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Arquivo sem assinatura de plataforma | 2.410 | 1 |
A Squarespace serve a seus clientes um arquivo que nomeia uns trinta robôs, entre eles todos os da tabela acima, e não recusa nenhum. A Shopify serve um que não nomeia nenhum. Nos dois casos a resposta é a mesma para milhares de sites, e o proprietário de um desses sites não escreveu essa resposta nem tem meios de mudá-la.
É isso que distingue um site que se possui de um site que se ocupa. A questão dos robôs de IA chegou em dois anos; a próxima chegará com a mesma rapidez, e se resolverá no mesmo lugar, num arquivo que alguém precisa poder escrever para você.
O Serenity é um site criado, hospedado, protegido e mantido atualizado pela Simafri, que cria, hospeda e mantém sites de empresas desde 2002. O nome de domínio é registrado em nome do cliente, e uma conta Simafri Suite está incluída.
Quadro de sorteio: os 4 590 553 domínios .fr ativos do arquivo de dados abertos da Afnic Afnic, fichier des domaines .fr actifs. Dele é sorteada uma cesta de 15 000 domínios, ordenados pela impressão sha256 de cada nome, o que permite a qualquer pessoa reconstruir a mesma cesta a partir da semente publicada. A cesta continua a mesma de um levantamento para o outro.
Cadeia de leitura: em 3 de setembro de 2026, 10 301 desses domínios serviram uma página. Para cada um, o arquivo robots.txt foi pedido na mesma conversa. 98 % devolveram uma política estabelecida, ou seja um arquivo legível ou uma resposta dizendo que não há nenhum, o que autoriza tudo. Os números se referem a esses.
O que conta como recusa: um robô é recusado quando seu próprio grupo de instruções lhe proíbe a raiz do site. Um grupo que se dirige a todos os robôs ao mesmo tempo é registrado à parte, porque trata do rastreamento em geral e nada diz sobre a IA. Um site cuja plataforma nomeia robôs dentro desse grupo geral não conta, portanto, como tendo tomado uma decisão.
O que não foi lido: nada que exija acesso ao site, a sua administração ou a sua hospedagem. Um pedido para a página, um para o arquivo.
Alcance: a cesta sorteia no conjunto dos domínios .fr ativos, empresas, associações e pessoas físicas juntos, sem qualificação pelo número de empresa, diferentemente dos nossos outros dois levantamentos. Os números descrevem portanto o parque francês como um todo. A leitura das plataformas cobre 2 500 sites sorteados entre os que servem um arquivo.
Os números do parque vêm de um índice público que publica seu método, sua cesta datada e sua série semanal, lido em 3 de setembro de 2026. A série é servida em JSON, robô a robô, e pode ser rejogada.
Ver o índice e seu método (Stileex)
A cesta é levantada toda semana, o que dirá se o parque se move nessa questão e em que sentido.
A Simafri é a aliada técnica de sua empresa desde 2002: criamos seu site, hospedamos, mantemos e o deixamos atualizado, com seu nome de domínio registrado em seu nome. Você decide quem pode aprender com suas páginas e quem pode citá-las, nós fazemos o gesto. Escreva para nós, olhamos seu caso juntos.
Simafri
Vamos falar de seu site
Conte para a gente sobre seu projeto em poucas palavras: responderemos rapidamente.
Prefere o e-mail? Escreva para a gente em support@simafri.com.
O formulário não aparece? Escreva diretamente para a gente:
support@simafri.com