Antes de ler uma página, um robô de IA lê um ficheiro que diz o que tem o direito de fazer com ela. Esse ficheiro existe na maioria dos sites. Este levantamento olha para o que ele responde, e sobretudo para quem o escreveu.
85,3 % dos sites levantados publicam um robots.txt. Esse ficheiro tem uma história: foi escrito para os motores de busca, num tempo em que a questão era saber que páginas seriam indexadas. Metade destes ficheiros cabe num único grupo de instruções, e esse grupo dirige-se a toda a gente ao mesmo tempo.
Os robôs de IA leem o mesmo ficheiro e procuram nele o seu próprio nome. Não o encontram em 97 % dos sites. Não é uma recusa nem uma autorização ponderada: é uma pergunta que ainda não foi feita, num ficheiro que tem mais dez anos do que ela.
Cada robô tem o seu próprio grupo num robots.txt, por isso um site responde separadamente à OpenAI, à Google e ao Common Crawl. A tabela lê essas respostas uma a uma.
| Robô | Operado por | O que faz com a página | Sites que o recusam |
|---|---|---|---|
| CCBot | Common Crawl | Treina um modelo | 2,0 % |
| GPTBot | OpenAI | Treina um modelo | 2,0 % |
| Bytespider | ByteDance | Treina um modelo | 1,8 % |
| ClaudeBot | Anthropic | Treina um modelo | 1,8 % |
| Google-Extended | Treina um modelo | 1,8 % | |
| Meta-ExternalAgent | Meta | Treina um modelo | 1,7 % |
| Applebot-Extended | Apple | Treina um modelo | 1,6 % |
| ChatGPT-User | OpenAI | Vai ler a página quando alguém faz a pergunta | 0,3 % |
| PerplexityBot | Perplexity | Alimenta um motor de resposta | 0,1 % |
| OAI-SearchBot | OpenAI | Alimenta um motor de resposta | 0,1 % |
A diferença é nítida e sustenta-se sozinha: os robôs que treinam modelos são recusados por cerca de 2 %, os que vão buscar uma página para responder a uma pergunta vinte vezes menos. O parque francês aceita ser citado e recusa ser aprendido.
Recusar o treino protege um conteúdo que uma empresa pagou para produzir. É uma decisão defensável, e 2,2 % dos sites tomaram-na explicitamente.
Fechar a porta aos motores de resposta produz outra: o seu site deixa de ser uma fonte citável no momento exato em que os seus clientes fazem as suas perguntas a uma IA em vez de a um motor de busca. 3,1 % dos sites levantados estão nesse caso sem o terem querido, por uma instrução escrita para todos os robôs muito antes de estes existirem.
As duas decisões tomam-se no mesmo ficheiro, em três linhas. Falta poder escrevê-lo.
Um robots.txt é servido pela máquina que serve o site. Quando esse site vive numa plataforma fechada, é a plataforma que o redige, o aplica a todos os seus clientes ao mesmo tempo e o atualiza quando o decide.
Relemos 2 500 dos ficheiros do levantamento para ver quais traziam a assinatura de um modelo de plataforma. A tabela abaixo dá o que cada uma responde pelos seus clientes.
| Plataforma | Sites do sorteio | Grupos de instruções |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Ficheiro sem assinatura de plataforma | 2.410 | 1 |
A Squarespace serve aos seus clientes um ficheiro que nomeia uma trintena de robôs, entre eles todos os da tabela acima, e não recusa nenhum. A Shopify serve um que não nomeia nenhum. Em ambos os casos a resposta é a mesma para milhares de sites, e o proprietário de um desses sites não escreveu essa resposta nem tem meios para a mudar.
É isso que distingue um site que se possui de um site que se ocupa. A questão dos robôs de IA chegou em dois anos; a seguinte chegará com a mesma rapidez, e resolver-se-á no mesmo sítio, num ficheiro que alguém tem de poder escrever por si.
O Serenity é um site criado, alojado, protegido e mantido atualizado pela Simafri, que cria, aloja e mantém sites de empresas desde 2002. O nome de domínio é registado em nome do cliente, e uma conta Simafri Suite está incluída.
Quadro de sorteio: os 4 590 553 domínios .fr ativos do ficheiro de dados abertos da Afnic Afnic, fichier des domaines .fr actifs. Dele é sorteado um cabaz de 15 000 domínios, ordenados pela impressão sha256 de cada nome, o que permite a qualquer pessoa reconstruir o mesmo cabaz a partir da semente publicada. O cabaz mantém-se o mesmo de um levantamento para o outro.
Cadeia de leitura: a 3 de setembro de 2026, 10 301 desses domínios serviram uma página. Para cada um, o ficheiro robots.txt foi pedido na mesma conversa. 98 % devolveram uma política estabelecida, ou seja um ficheiro legível ou uma resposta a dizer que não existe, o que autoriza tudo. Os números referem-se a esses.
O que conta como recusa: um robô é recusado quando o seu próprio grupo de instruções lhe proíbe a raiz do site. Um grupo que se dirige a todos os robôs ao mesmo tempo é registado à parte, porque diz respeito ao rastreio em geral e nada diz sobre a IA. Um site cuja plataforma nomeia robôs dentro desse grupo geral não conta, portanto, como tendo tomado uma decisão.
O que não foi lido: nada que exija acesso ao site, à sua administração ou ao seu alojamento. Um pedido para a página, um para o ficheiro.
Alcance: o cabaz sorteia no conjunto dos domínios .fr ativos, empresas, associações e particulares juntos, sem qualificação pelo número de empresa, ao contrário dos nossos outros dois levantamentos. Os números descrevem portanto o parque francês no seu conjunto. A leitura das plataformas incide sobre 2 500 sites sorteados entre os que servem um ficheiro.
Os números do parque vêm de um índice público que publica o seu método, o seu cabaz datado e a sua série semanal, lido a 3 de setembro de 2026. A série é servida em JSON, robô a robô, e pode ser rejogada.
Ver o índice e o seu método (Stileex)
O cabaz é levantado todas as semanas, o que dirá se o parque se move nesta questão e em que sentido.
A Simafri é a aliada técnica da sua empresa desde 2002: criamos o seu site, alojamo-lo, mantemo-lo e mantemo-lo atualizado, com o seu nome de domínio registado em seu nome. O cliente decide quem pode aprender com as suas páginas e quem as pode citar, nós fazemos o gesto. Escreva-nos, olhamos para o seu caso em conjunto.
Simafri
Vamos falar do seu projeto
Diga-nos em poucas palavras o que precisa: respondemos-lhe rapidamente.
Prefere o email? Escreva-nos para support@simafri.com.
O formulário não aparece? Escreva-nos diretamente:
support@simafri.com