Roboti UI in francoske strani: kdo odloča o odgovoru

Preden robot UI prebere stran, prebere datoteko, ki pove, kaj sme z njo storiti. Ta datoteka obstaja na večini strani. Ta meritev gleda, kaj odgovarja, predvsem pa, kdo jo je napisal.

Objavljeno 3. septembra 2026 10 301 strani .fr, izmerjenih 3. septembra 2026

97 %strani ne imenuje nobenega robota UI v svojem robots.txt
2,2 %jih vsaj enega zavrne tako, da ga imenuje
3,1 %zapre svoj koren vsem robotom, iskalnike vključno

Datoteka je že tam, le da govori nekomu drugemu

85,3 % izmerjenih strani objavlja robots.txt. Ta datoteka ima zgodovino: napisana je bila za iskalnike, v času, ko je bilo vprašanje, katere strani bodo indeksirane. Polovica teh datotek gre v eno samo skupino pravil, in ta skupina nagovarja vse hkrati.

Roboti UI berejo isto datoteko in v njej iščejo svoje ime. Na 97 % strani ga ne najdejo. To ni zavrnitev in ne premišljeno dovoljenje: to je vprašanje, ki še ni bilo postavljeno, v datoteki, ki je deset let starejša od njega.

Kaj ta nabor zavrača, robot za robotom

Vsak robot ima svojo skupino v robots.txt, zato stran odgovarja OpenAI, Googlu in Common Crawlu ločeno. Tabela bere te odgovore enega za drugim.

Robot Upravlja Kaj naredi s stranjo Strani, ki ga zavrnejo
CCBot Common Crawl Uči model 2,0 %
GPTBot OpenAI Uči model 2,0 %
Bytespider ByteDance Uči model 1,8 %
ClaudeBot Anthropic Uči model 1,8 %
Google-Extended Google Uči model 1,8 %
Meta-ExternalAgent Meta Uči model 1,7 %
Applebot-Extended Apple Uči model 1,6 %
ChatGPT-User OpenAI Pobere stran, ko nekdo postavi vprašanje 0,3 %
PerplexityBot Perplexity Napaja iskalnik odgovorov 0,1 %
OAI-SearchBot OpenAI Napaja iskalnik odgovorov 0,1 %

Razlika je jasna in stoji sama: roboti, ki učijo modele, so zavrnjeni pri približno 2 %, tisti, ki poberejo stran za odgovor na vprašanje, dvajsetkrat manj. Francoski nabor sprejema, da je citiran, in zavrača, da se iz njega uči.

Odločitvi nista isti

Zavrniti učenje varuje vsebino, za katere nastanek je podjetje plačalo. To je zagovorljiva odločitev in 2,2 % strani jo je sprejelo izrecno.

Zapreti vrata iskalnikom odgovorov rodi drugo: vaša stran preneha biti vir, ki ga je mogoče citirati, prav v trenutku, ko vaše stranke svoja vprašanja postavljajo umetni inteligenci namesto iskalniku. 3,1 % izmerjenih strani je v tem položaju, ne da bi to hotele, zaradi pravila, napisanega za vse robote dolgo preden so ti obstajali.

Obe odločitvi se sprejmeta v isti datoteki, v treh vrsticah. Le napisati jo je treba znati.

Na zaprti platformi ta datoteka ni vaša

Robots.txt streže tisti stroj, ki streže stran. Kadar stran živi na zaprti platformi, jo napiše platforma, jo uporabi za vse svoje stranke hkrati in jo posodobi, ko sama tako odloči.

Ponovno smo prebrali 2 500 datotek iz meritve, da bi videli, katere nosijo podpis platformske predloge. Spodnja tabela kaže, kaj vsaka od njih odgovarja za svoje stranke.

Platforma Strani v vzorcu Skupine pravil
Shopify 57 2
WordPress.com 13 1
Squarespace 11 30
Wix 3 0
Webflow 1 0
Datoteka brez podpisa platforme 2410 1

Squarespace svojim strankam streže datoteko, ki imenuje kakih trideset robotov, med njimi vse iz zgornje tabele, in nobenega ne zavrne. Shopify streže takšno, ki ne imenuje nobenega. V obeh primerih je odgovor enak za tisoče strani, lastnik ene od njih pa tega odgovora ni napisal in ga tudi ne more spremeniti.

To loči stran, ki jo imaš, od strani, ki jo naseljuješ. Vprašanje robotov UI je prišlo v dveh letih; naslednje bo prišlo enako hitro in se bo rešilo na istem mestu, v datoteki, ki jo mora nekdo znati napisati namesto vas.

Serenity, na kratko

Serenity je spletna stran, ki jo Simafri izdela, gosti, zavaruje in vzdržuje posodobljeno, in ki izdeluje, gosti ter vzdržuje strani podjetij od leta 2002. Ime domene je registrirano na ime stranke, račun Simafri Suite pa je vključen.

Poglejte ponudbo in cene

Metoda

Okvir vzorčenja: 4 590 553 aktivnih domen .fr iz odprte podatkovne datoteke Afnica Afnic, fichier des domaines .fr actifs. Iz njega se izžreba panel 15 000 domen, urejenih po odtisu sha256 vsakega imena, kar vsakomur omogoča, da iz objavljenega semena znova zgradi isti panel. Panel ostaja isti od ene meritve do druge.

Veriga branja: 3. septembra 2026 je 10 301 od teh domen postreglo stran. Za vsako je bila datoteka robots.txt zahtevana v istem pogovoru. 98 % jih je vrnilo ustaljeno stališče, torej berljivo datoteko ali odgovor, da je ni, kar dovoljuje vse. Številke se nanašajo na te.

Kaj šteje za zavrnitev: robot je zavrnjen, kadar mu njegova lastna skupina pravil prepove koren strani. Skupina, ki nagovarja vse robote hkrati, se zabeleži posebej, ker zadeva pregledovanje na splošno in o UI ne pove nič. Stran, katere platforma imenuje robote znotraj te splošne skupine, torej ne šteje kot tista, ki se je odločila.

Kaj ni bilo brano: nič, kar bi zahtevalo dostop do strani, njenega upravljanja ali njenega gostovanja. Ena zahteva za stran, ena za datoteko.

Doseg: panel žreba iz vseh aktivnih domen .fr, podjetja, društva in fizične osebe skupaj, brez izbire po matični številki, drugače kot pri naših dveh drugih meritvah. Številke torej opisujejo francoski nabor kot celoto. Branje platform zajema 2 500 strani, izžrebanih med tistimi, ki strežejo datoteko.

Vir in ponovna uporaba

Številke o naboru prihajajo iz javnega indeksa, ki objavlja svojo metodo, datirani panel in tedenski niz, prebranega 3. septembra 2026. Niz se streže v JSON, robot za robotom, in ga je mogoče ponoviti.

Poglejte indeks in njegovo metodo (Stileex)

JSON API

Panel se meri vsak teden, kar bo povedalo, ali se nabor v tem vprašanju premika in v katero smer.

Vzemite si nazaj odločitev o tem, kaj vaša stran odgovarja

Simafri je tehnični zaveznik vašega podjetja od leta 2002: izdelamo vašo stran, jo gostimo, vzdržujemo in posodabljamo, z imenom domene, registriranim na vaše ime. Vi odločate, kdo se sme učiti z vaših strani in kdo jih sme citirati, mi opravimo potezo. Pišite nam, skupaj bomo pogledali vaš primer.