Roboti UI i francuske stranice: tko odlučuje o odgovoru

Prije nego pročita stranicu, robot UI čita datoteku koja kaže što s njom smije učiniti. Ta datoteka postoji na većini stranica. Ovo mjerenje gleda što ona odgovara, a prije svega tko ju je napisao.

Objavljeno 3. rujna 2026. 10 301 stranica .fr, izmjereno 3. rujna 2026.

97 %stranica ne imenuje nijednog robota UI u svojem robots.txt
2,2 %odbija barem jednoga, imenujući ga
3,1 %zatvara svoj korijen svim robotima, uključujući tražilice

Datoteka je već ondje, samo govori nekome drugom

85,3 % izmjerenih stranica objavljuje robots.txt. Ta datoteka ima povijest: napisana je za tražilice, u vrijeme kad je pitanje bilo koje će stranice biti indeksirane. Polovica tih datoteka stane u jednu jedinu skupinu pravila, a ta se skupina obraća svima odjednom.

Roboti UI čitaju istu datoteku i u njoj traže vlastito ime. Ne nalaze ga na 97 % stranica. To nije odbijanje ni promišljeno dopuštenje: to je pitanje koje još nije postavljeno, u datoteci deset godina starijoj od njega.

Što taj skup odbija, robot po robot

Svaki robot ima vlastitu skupinu u robots.txt, pa stranica odgovara OpenAI-u, Googleu i Common Crawlu odvojeno. Tablica čita te odgovore jedan po jedan.

Robot Vodi ga Što radi sa stranicom Stranice koje ga odbijaju
CCBot Common Crawl Trenira model 2,0 %
GPTBot OpenAI Trenira model 2,0 %
Bytespider ByteDance Trenira model 1,8 %
ClaudeBot Anthropic Trenira model 1,8 %
Google-Extended Google Trenira model 1,8 %
Meta-ExternalAgent Meta Trenira model 1,7 %
Applebot-Extended Apple Trenira model 1,6 %
ChatGPT-User OpenAI Dohvaća stranicu kad netko postavi pitanje 0,3 %
PerplexityBot Perplexity Napaja tražilicu odgovora 0,1 %
OAI-SearchBot OpenAI Napaja tražilicu odgovora 0,1 %

Razlika je jasna i stoji sama: roboti koji treniraju modele odbijeni su kod otprilike 2 %, oni koji dohvaćaju stranicu da odgovore na pitanje dvadeset puta manje. Francuski skup pristaje da ga se citira i odbija da se iz njega uči.

Te dvije odluke nisu ista stvar

Odbiti treniranje štiti sadržaj koji je tvrtka platila da nastane. To je branjiva odluka, i 2,2 % stranica donijelo ju je izričito.

Zatvoriti vrata tražilicama odgovora rađa drugu: vaša stranica prestaje biti izvor koji se može citirati baš u trenutku kad vaši klijenti svoja pitanja postavljaju umjetnoj inteligenciji umjesto tražilici. 3,1 % izmjerenih stranica u tome je položaju a da to nisu htjele, zbog pravila napisanog za sve robote davno prije nego što su ovi postojali.

Obje se odluke donose u istoj datoteci, u tri retka. Treba je samo moći napisati.

Na zatvorenoj platformi ta datoteka nije vaša

Robots.txt poslužuje stroj koji poslužuje stranicu. Kad stranica živi na zatvorenoj platformi, platforma je ta koja je piše, primjenjuje je na sve svoje klijente odjednom i ažurira je kad sama odluči.

Ponovno smo pročitali 2 500 datoteka iz mjerenja da vidimo koje nose potpis platformskog predloška. Tablica ispod pokazuje što svaka od njih odgovara za svoje klijente.

Platforma Stranice u uzorku Skupine pravila
Shopify 57 2
WordPress.com 13 1
Squarespace 11 30
Wix 3 0
Webflow 1 0
Datoteka bez potpisa platforme 2.410 1

Squarespace svojim klijentima poslužuje datoteku koja imenuje tridesetak robota, među njima sve iz tablice gore, i ne odbija nijednoga. Shopify poslužuje onu koja ne imenuje nijednoga. U oba je slučaja odgovor isti za tisuće stranica, a vlasnik jedne od njih taj odgovor nije napisao niti ga može promijeniti.

To razlikuje stranicu koju posjeduješ od stranice koju nastanjuješ. Pitanje robota UI stiglo je u dvije godine; sljedeće će stići jednako brzo i riješit će se na istome mjestu, u datoteci koju netko mora znati napisati umjesto vas.

Serenity, ukratko

Serenity je web stranica koju Simafri izrađuje, hostira, osigurava i drži ažurnom, a koja izrađuje, hostira i održava stranice tvrtki od 2002. Naziv domene registriran je na ime klijenta, a račun Simafri Suite je uključen.

Pogledajte ponudu i cijene

Metoda

Okvir uzorkovanja: 4 590 553 aktivne domene .fr iz otvorene datoteke podataka Afnica Afnic, fichier des domaines .fr actifs. Iz njega se izvlači panel od 15 000 domena, poredanih po sha256 otisku svakog imena, što svakome omogućuje da iz objavljenog sjemena ponovno izgradi isti panel. Panel ostaje isti od jednog mjerenja do drugoga.

Lanac čitanja: 3. rujna 2026. njih 10 301 od tih domena poslužilo je stranicu. Za svaku je datoteka robots.txt zatražena u istom razgovoru. 98 % vratilo je utvrđeni stav, to jest čitljivu datoteku ili odgovor da je nema, što dopušta sve. Brojke se odnose na njih.

Što se broji kao odbijanje: robot je odbijen kad mu njegova vlastita skupina pravila zabranjuje korijen stranice. Skupina koja se obraća svim robotima odjednom bilježi se zasebno, jer se tiče obilaska općenito i ne govori ništa o UI. Stranica čija platforma imenuje robote unutar te opće skupine ne broji se dakle kao ona koja je donijela odluku.

Što nije čitano: ništa što traži pristup stranici, njezinoj administraciji ili njezinom hostingu. Jedan zahtjev za stranicu, jedan za datoteku.

Doseg: panel izvlači iz svih aktivnih domena .fr, tvrtke, udruge i privatne osobe zajedno, bez odabira po matičnom broju, za razliku od naša druga dva mjerenja. Brojke stoga opisuju francuski skup u cjelini. Čitanje platformi obuhvaća 2 500 stranica izvučenih među onima koje poslužuju datoteku.

Izvor i ponovna uporaba

Brojke o skupu dolaze iz javnog indeksa koji objavljuje svoju metodu, datirani panel i tjedni niz, pročitanog 3. rujna 2026. Niz se poslužuje u JSON-u, robot po robot, i može se ponovno odigrati.

Pogledajte indeks i njegovu metodu (Stileex)

JSON API

Panel se mjeri svaki tjedan, što će reći miče li se skup u ovom pitanju i u kojem smjeru.

Vratite si odluku o tome što vaša stranica odgovara

Simafri je tehnički saveznik vaše tvrtke od 2002.: izrađujemo vašu stranicu, hostiramo je, održavamo je i držimo ažurnom, s nazivom domene registriranim na vaše ime. Vi odlučujete tko smije učiti iz vaših stranica i tko ih smije citirati, mi radimo potez. Pišite nam, zajedno ćemo pogledati vaš slučaj.