Înainte de a citi o pagină, un robot de IA citește un fișier care spune ce are dreptul să facă cu ea. Acest fișier există pe majoritatea site-urilor. Această măsurătoare se uită la ce răspunde și, mai ales, la cine l-a scris.
85,3 % dintre site-urile măsurate publică un robots.txt. Acest fișier are o istorie: a fost scris pentru motoarele de căutare, într-o vreme în care întrebarea era ce pagini vor fi indexate. Jumătate dintre aceste fișiere încap într-un singur grup de reguli, iar acel grup se adresează tuturor deodată.
Roboții de IA citesc același fișier și își caută în el propriul nume. Nu îl găsesc pe 97 % dintre site-uri. Nu este un refuz și nici o autorizare chibzuită: este o întrebare care nu a fost încă pusă, într-un fișier cu zece ani mai bătrân decât ea.
Fiecare robot are propriul grup într-un robots.txt, așa că un site răspunde separat către OpenAI, către Google și către Common Crawl. Tabelul citește aceste răspunsuri unul câte unul.
| Robot | Operat de | Ce face cu pagina | Site-uri care îl refuză |
|---|---|---|---|
| CCBot | Common Crawl | Antrenează un model | 2,0 % |
| GPTBot | OpenAI | Antrenează un model | 2,0 % |
| Bytespider | ByteDance | Antrenează un model | 1,8 % |
| ClaudeBot | Anthropic | Antrenează un model | 1,8 % |
| Google-Extended | Antrenează un model | 1,8 % | |
| Meta-ExternalAgent | Meta | Antrenează un model | 1,7 % |
| Applebot-Extended | Apple | Antrenează un model | 1,6 % |
| ChatGPT-User | OpenAI | Merge să citească pagina când cineva pune întrebarea | 0,3 % |
| PerplexityBot | Perplexity | Alimentează un motor de răspuns | 0,1 % |
| OAI-SearchBot | OpenAI | Alimentează un motor de răspuns | 0,1 % |
Diferența este netă și stă în picioare singură: roboții care antrenează modele sunt refuzați de aproximativ 2 %, cei care aduc o pagină pentru a răspunde la o întrebare de douăzeci de ori mai puțin. Parcul francez acceptă să fie citat și refuză să fie învățat.
Refuzul antrenării protejează un conținut pe care o firmă a plătit ca să îl producă. Este o decizie de apărat, iar 2,2 % dintre site-uri au luat-o explicit.
Închiderea ușii în fața motoarelor de răspuns produce alta: site-ul dumneavoastră încetează să mai fie o sursă citabilă exact în momentul în care clienții dumneavoastră își pun întrebările unei IA în locul unui motor de căutare. 3,1 % dintre site-urile măsurate sunt în această situație fără să fi vrut, printr-o regulă scrisă pentru toți roboții cu mult înainte ca aceștia să existe.
Ambele decizii se iau în același fișier, în trei rânduri. Rămâne să îl poți scrie.
Un robots.txt este servit de mașina care servește site-ul. Când acel site trăiește pe o platformă închisă, platforma este cea care îl redactează, îl aplică tuturor clienților ei deodată și îl actualizează când decide ea.
Am recitit 2 500 dintre fișierele măsurătorii pentru a vedea care poartă semnătura unui șablon de platformă. Tabelul de mai jos arată ce răspunde fiecare pentru clienții ei.
| Platformă | Site-uri în eșantion | Grupuri de reguli |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Fișier fără semnătură de platformă | 2.410 | 1 |
Squarespace le servește clienților săi un fișier care numește vreo treizeci de roboți, printre care toți cei din tabelul de mai sus, și nu refuză niciunul. Shopify servește unul care nu numește niciunul. În ambele cazuri răspunsul este același pentru mii de site-uri, iar proprietarul unuia dintre ele nici nu a scris acel răspuns, nici nu are cum să îl schimbe.
Asta deosebește un site pe care îl deții de un site pe care îl ocupi. Chestiunea roboților de IA a venit în doi ani; următoarea va veni la fel de repede și se va rezolva în același loc, într-un fișier pe care cineva trebuie să îl poată scrie pentru dumneavoastră.
Serenity este un site creat, găzduit, securizat și ținut la zi de Simafri, care creează, găzduiește și întreține site-uri de firme din 2002. Numele de domeniu este înregistrat pe numele clientului, iar un cont Simafri Suite este inclus.
Cadru de eșantionare: cele 4 590 553 de domenii .fr active din fișierul de date deschise al Afnic Afnic, fichier des domaines .fr actifs. Din el se extrage un panel de 15 000 de domenii, ordonate după amprenta sha256 a fiecărui nume, ceea ce permite oricui să reconstruiască același panel pornind de la sămânța publicată. Panelul rămâne același de la o măsurătoare la alta.
Lanț de citire: la 3 septembrie 2026, 10 301 dintre aceste domenii au servit o pagină. Pentru fiecare, fișierul robots.txt a fost cerut în aceeași conversație. 98 % au întors o politică stabilită, adică un fișier lizibil sau un răspuns care spune că nu există, ceea ce autorizează totul. Cifrele privesc aceste site-uri.
Ce contează drept refuz: un robot este refuzat când propriul său grup de reguli îi interzice rădăcina site-ului. Un grup care se adresează tuturor roboților deodată este consemnat separat, pentru că privește parcurgerea în general și nu spune nimic despre IA. Un site a cărui platformă numește roboți în interiorul acelui grup general nu este deci socotit ca având o decizie luată.
Ce nu a fost citit: nimic care să ceară acces la site, la administrarea lui sau la găzduirea lui. O cerere pentru pagină, una pentru fișier.
Întindere: panelul extrage din ansamblul domeniilor .fr active, firme, asociații și persoane fizice laolaltă, fără calificare prin numărul de firmă, spre deosebire de celelalte două măsurători ale noastre. Cifrele descriu deci parcul francez în ansamblul lui. Citirea platformelor privește 2 500 de site-uri extrase dintre cele care servesc un fișier.
Cifrele despre parc vin dintr-un indice public care își publică metoda, panelul datat și seria săptămânală, citit la 3 septembrie 2026. Seria este servită în JSON, robot cu robot, și se poate rejuca.
Vezi indicele și metoda lui (Stileex)
Panelul este măsurat în fiecare săptămână, ceea ce va spune dacă parcul se mișcă în această privință și în ce sens.
Simafri este aliatul tehnic al firmei dumneavoastră din 2002: vă creăm site-ul, îl găzduim, îl întreținem și îl ținem la zi, cu numele de domeniu înregistrat pe numele dumneavoastră. Dumneavoastră decideți cine poate învăța din paginile dumneavoastră și cine le poate cita, noi facem gestul. Scrieți-ne și ne uităm împreună la cazul dumneavoastră.
Simafri
Să discutăm despre site-ul dumneavoastră
Povestiți-ne despre proiectul dumneavoastră în câteva cuvinte: vă vom răspunde rapid.
Preferați e-mailul? Scrieți-ne la support@simafri.com.
Formularul nu se afișează? Scrieți-ne direct:
support@simafri.com