Skôr než robot AI prečíta stránku, prečíta si súbor, ktorý hovorí, čo s ňou smie urobiť. Ten súbor existuje na väčšine webov. Toto meranie sa pozerá, čo odpovedá, a predovšetkým kto ho napísal.
85,3 % zmeraných webov zverejňuje robots.txt. Ten súbor má svoju históriu: bol napísaný pre vyhľadávače, v čase, keď otázka znela, ktoré stránky budú indexované. Polovica týchto súborov sa zmestí do jedinej skupiny pravidiel, a tá skupina oslovuje všetkých naraz.
Roboty AI čítajú ten istý súbor a hľadajú v ňom vlastné meno. Na 97 % webov ho nenájdu. Nie je to odmietnutie ani premyslené povolenie: je to otázka, ktorá ešte nebola položená, v súbore o desať rokov staršom než ona.
Každý robot má v robots.txt vlastnú skupinu, web teda odpovedá OpenAI, Googlu a Common Crawl osobitne. Tabuľka číta tieto odpovede jednu po druhej.
| Robot | Prevádzkuje | Čo so stránkou robí | Weby, ktoré ho odmietajú |
|---|---|---|---|
| CCBot | Common Crawl | Trénuje model | 2,0 % |
| GPTBot | OpenAI | Trénuje model | 2,0 % |
| Bytespider | ByteDance | Trénuje model | 1,8 % |
| ClaudeBot | Anthropic | Trénuje model | 1,8 % |
| Google-Extended | Trénuje model | 1,8 % | |
| Meta-ExternalAgent | Meta | Trénuje model | 1,7 % |
| Applebot-Extended | Apple | Trénuje model | 1,6 % |
| ChatGPT-User | OpenAI | Načíta stránku, keď niekto položí otázku | 0,3 % |
| PerplexityBot | Perplexity | Napája odpovedací vyhľadávač | 0,1 % |
| OAI-SearchBot | OpenAI | Napája odpovedací vyhľadávač | 0,1 % |
Rozdiel je zreteľný a obstojí sám: roboty, ktoré trénujú modely, sú odmietané asi 2 %, tie, ktoré načítajú stránku, aby odpovedali na otázku, dvadsaťkrát menej. Francúzsky park prijíma, že bude citovaný, a odmieta, aby sa z neho učilo.
Odmietnuť trénovanie chráni obsah, za ktorého vytvorenie firma zaplatila. Je to obhájiteľné rozhodnutie a 2,2 % webov ho urobilo výslovne.
Zavrieť dvere odpovedacím vyhľadávačom plodí iné: váš web prestáva byť citovateľným zdrojom presne vo chvíli, keď vaši zákazníci kladú svoje otázky umelej inteligencii namiesto vyhľadávača. 3,1 % zmeraných webov je v tejto situácii bez toho, aby to chceli, pre pravidlo napísané pre všetky roboty dávno predtým, než tieto existovali.
Obe rozhodnutia sa robia v tom istom súbore, na troch riadkoch. Len ho treba vedieť napísať.
Robots.txt podáva ten istý stroj, ktorý podáva web. Keď web žije na uzavretej platforme, píše ho platforma, uplatňuje ho na všetkých svojich zákazníkov naraz a aktualizuje ho, keď sa sama rozhodne.
Znovu sme prečítali 2 500 súborov z merania, aby sme videli, ktoré nesú podpis šablóny platformy. Tabuľka nižšie ukazuje, čo každá z nich odpovedá za svojich zákazníkov.
| Platforma | Weby vo výbere | Skupiny pravidiel |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Súbor bez podpisu platformy | 2 410 | 1 |
Squarespace podáva svojim zákazníkom súbor, ktorý menuje asi tridsať robotov, medzi nimi všetky z tabuľky vyššie, a žiadneho neodmieta. Shopify podáva súbor, ktorý nemenuje žiadneho. V oboch prípadoch je odpoveď rovnaká pre tisíce webov a majiteľ jedného z nich tú odpoveď ani nenapísal, ani nemá ako ju zmeniť.
To odlišuje web, ktorý človek vlastní, od webu, ktorý obýva. Otázka robotov AI prišla za dva roky; ďalšia príde rovnako rýchlo a vyrieši sa na tom istom mieste, v súbore, ktorý za vás musí niekto vedieť napísať.
Serenity je web vytvorený, hostovaný, zabezpečený a udržiavaný v aktuálnom stave spoločnosťou Simafri, ktorá vytvára, hostuje a spravuje firemné weby od roku 2002. Doménové meno je registrované na meno klienta a účet Simafri Suite je súčasťou.
Výberový rámec: 4 590 553 aktívnych domén .fr z otvoreného dátového súboru Afnic Afnic, fichier des domaines .fr actifs. Z neho sa losuje panel 15 000 domén, zoradených podľa odtlačku sha256 každého mena, čo komukoľvek umožňuje zostaviť ten istý panel zo zverejneného semienka. Panel zostáva rovnaký od jedného merania k ďalšiemu.
Reťaz čítania: 3. septembra 2026 podalo 10 301 z týchto domén stránku. Pri každej z nich bol súbor robots.txt vyžiadaný v tom istom spojení. 98 % vrátilo ustálený postoj, teda čitateľný súbor alebo odpoveď, že žiadny nie je, čo povoľuje všetko. Čísla sa týkajú týchto.
Čo sa počíta ako odmietnutie: robot je odmietnutý, keď mu jeho vlastná skupina pravidiel zakazuje koreň webu. Skupina oslovujúca všetky roboty naraz sa zaznamenáva osobitne, pretože sa týka prechádzania vo všeobecnosti a o AI nehovorí nič. Web, ktorého platforma menuje roboty vnútri tejto všeobecnej skupiny, sa teda nepočíta ako ten, ktorý rozhodol.
Čo sa nečítalo: nič, čo by vyžadovalo prístup k webu, k jeho správe alebo k jeho hostingu. Jedna požiadavka na stránku, jedna na súbor.
Dosah: panel losuje zo všetkých aktívnych domén .fr, firmy, spolky aj súkromné osoby spolu, bez kvalifikácie podľa firemného čísla, na rozdiel od našich dvoch ďalších meraní. Čísla teda opisujú francúzsky park ako celok. Čítanie platforiem sa týka 2 500 webov vylosovaných spomedzi tých, ktoré súbor podávajú.
Čísla o parku pochádzajú z verejného indexu, ktorý zverejňuje svoju metódu, datovaný panel a týždennú radu, prečítané 3. septembra 2026. Rada sa podáva v JSON, robot po robotovi, a dá sa prehrať znovu.
Zobraziť index a jeho metódu (Stileex)
Panel sa meria každý týždeň, čo ukáže, či sa park v tejto otázke hýbe a ktorým smerom.
Simafri je technickým spojencom vašej firmy od roku 2002: vytvoríme váš web, hostujeme ho, spravujeme a udržiavame aktuálny, s doménovým menom registrovaným na vás. Vy rozhodujete, kto sa smie učiť z vašich stránok a kto ich smie citovať, my urobíme úkon. Napíšte nám, pozrieme sa na váš prípad spoločne.
Simafri
Porozprávajme sa o vašom zámere
Povedzte nám v pár slovách, čo potrebujete: rýchlo sa vám ozveme.
Máte radšej e-mail? Napíšte nám na support@simafri.com.
Formulár sa nezobrazuje? Napíšte nám priamo:
support@simafri.com