Prieš skaitydamas puslapį, DI robotas perskaito failą, kuris sako, ką jis turi teisę su juo daryti. Šis failas yra daugumoje svetainių. Šis matavimas žiūri, ką jis atsako, ir svarbiausia, kas jį parašė.
85,3 % išmatuotų svetainių skelbia robots.txt. Šis failas turi istoriją: jis buvo parašytas paieškos sistemoms tuo metu, kai klausimas buvo, kurie puslapiai bus indeksuoti. Pusė šių failų telpa į vieną vienintelę taisyklių grupę, ir ta grupė kreipiasi į visus iš karto.
DI robotai skaito tą patį failą ir ieško jame savo vardo. Jie jo neranda 97 % svetainių. Tai nei atsisakymas, nei apgalvotas leidimas: tai klausimas, kuris dar nebuvo užduotas, faile, kuris yra dešimčia metų už jį senesnis.
Kiekvienas robotas turi savo grupę robots.txt faile, tad svetainė atsako OpenAI, Google ir Common Crawl atskirai. Lentelė skaito šiuos atsakymus po vieną.
| Robotas | Valdo | Ką daro su puslapiu | Svetainės, kurios jį atmeta |
|---|---|---|---|
| CCBot | Common Crawl | Treniruoja modelį | 2,0 % |
| GPTBot | OpenAI | Treniruoja modelį | 2,0 % |
| Bytespider | ByteDance | Treniruoja modelį | 1,8 % |
| ClaudeBot | Anthropic | Treniruoja modelį | 1,8 % |
| Google-Extended | Treniruoja modelį | 1,8 % | |
| Meta-ExternalAgent | Meta | Treniruoja modelį | 1,7 % |
| Applebot-Extended | Apple | Treniruoja modelį | 1,6 % |
| ChatGPT-User | OpenAI | Paima puslapį, kai kas nors užduoda klausimą | 0,3 % |
| PerplexityBot | Perplexity | Maitina atsakymų variklį | 0,1 % |
| OAI-SearchBot | OpenAI | Maitina atsakymų variklį | 0,1 % |
Skirtumas ryškus ir laikosi pats: robotai, kurie treniruoja modelius, atmetami apie 2 %, tie, kurie paima puslapį atsakyti į klausimą, dvidešimt kartų rečiau. Prancūzijos rinkinys sutinka būti cituojamas ir atsisako būti išmokstamas.
Atsisakyti treniravimo saugo turinį, už kurio sukūrimą įmonė sumokėjo. Tai apgintinas sprendimas, ir 2,2 % svetainių jį priėmė aiškiai.
Uždaryti duris atsakymų varikliams pagimdo kitą: jūsų svetainė nustoja būti cituojamu šaltiniu būtent tuo metu, kai jūsų klientai savo klausimus užduoda dirbtiniam intelektui, o ne paieškos sistemai. 3,1 % išmatuotų svetainių yra tokioje padėtyje to nenorėdamos, dėl taisyklės, parašytos visiems robotams gerokai anksčiau, nei šie atsirado.
Abu sprendimai priimami tame pačiame faile, trimis eilutėmis. Belieka mokėti jį parašyti.
Robots.txt pateikia ta pati mašina, kuri pateikia svetainę. Kai svetainė gyvena uždaroje platformoje, jį rašo platforma, taiko visiems savo klientams iš karto ir atnaujina tada, kai pati nusprendžia.
Perskaitėme iš naujo 2 500 matavimo failų, kad pamatytume, kurie turi platformos šablono parašą. Žemiau esanti lentelė rodo, ką kiekviena iš jų atsako savo klientų vardu.
| Platforma | Svetainės imtyje | Taisyklių grupės |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Failas be platformos parašo | 2 410 | 1 |
Squarespace savo klientams pateikia failą, kuris įvardija apie trisdešimt robotų, tarp jų visus iš aukščiau esančios lentelės, ir neatmeta nė vieno. Shopify pateikia tokį, kuris neįvardija nė vieno. Abiem atvejais atsakymas tas pats tūkstančiams svetainių, o vienos iš jų savininkas to atsakymo nei parašė, nei turi kaip pakeisti.
Tai skiria svetainę, kurią turi, nuo svetainės, kurioje gyveni. DI robotų klausimas atėjo per dvejus metus; kitas ateis lygiai taip pat greitai ir bus išspręstas toje pačioje vietoje, faile, kurį kažkas turi mokėti parašyti už jus.
Serenity yra svetainė, kurią sukuria, talpina, apsaugo ir palaiko atnaujintą Simafri, kuri nuo 2002 m. kuria, talpina ir prižiūri įmonių svetaines. Domeno vardas registruojamas kliento vardu, o Simafri Suite paskyra įskaičiuota.
Imties rėmai: 4 590 553 aktyvūs .fr domenai iš Afnic atvirų duomenų failo Afnic, fichier des domaines .fr actifs. Iš jo traukiama 15 000 domenų grupė, surikiuota pagal kiekvieno vardo sha256 atspaudą, o tai leidžia bet kam iš paskelbtos sėklos atkurti tą pačią grupę. Grupė lieka ta pati nuo vieno matavimo iki kito.
Skaitymo grandinė: 2026 m. rugsėjo 3 d. 10 301 iš šių domenų pateikė puslapį. Kiekvienam iš jų robots.txt failas buvo paprašytas tame pačiame ryšyje. 98 % grąžino nustatytą poziciją, tai yra skaitomą failą arba atsakymą, kad tokio nėra, o tai leidžia viską. Skaičiai liečia juos.
Kas laikoma atmetimu: robotas atmestas tada, kai jo paties taisyklių grupė draudžia jam svetainės šaknį. Grupė, kuri kreipiasi į visus robotus iš karto, žymima atskirai, nes ji liečia naršymą apskritai ir nieko nesako apie DI. Svetainė, kurios platforma įvardija robotus toje bendroje grupėje, taigi neskaitoma kaip priėmusi sprendimą.
Kas nebuvo skaityta: niekas, kas reikalauja prieigos prie svetainės, jos administravimo ar talpinimo. Viena užklausa puslapiui, viena failui.
Aprėptis: grupė traukiama iš visų aktyvių .fr domenų, įmonės, asociacijos ir privatūs asmenys kartu, be atrankos pagal įmonės numerį, kitaip nei mūsų kituose dviejuose matavimuose. Skaičiai taigi apibūdina Prancūzijos rinkinį kaip visumą. Platformų skaitymas apima 2 500 svetainių, ištrauktų tarp tų, kurios pateikia failą.
Rinkinio skaičiai ateina iš viešo indekso, kuris skelbia savo metodą, datuotą grupę ir savaitinę eilutę, perskaityta 2026 m. rugsėjo 3 d. Eilutė pateikiama JSON formatu, robotas po roboto, ir gali būti perleista.
Žiūrėti indeksą ir jo metodą (Stileex)
Grupė matuojama kas savaitę, o tai pasakys, ar rinkinys šiuo klausimu juda ir kuria kryptimi.
Simafri yra jūsų įmonės techninis sąjungininkas nuo 2002 m.: sukuriame jūsų svetainę, ją talpiname, prižiūrime ir laikome atnaujintą, su jūsų domeno vardu, registruotu jūsų vardu. Jūs nusprendžiate, kas gali mokytis iš jūsų puslapių ir kas gali juos cituoti, mes atliekame veiksmą. Parašykite mums, kartu peržiūrėsime jūsų atvejį.
Simafri
Pakalbėkime apie jūsų sumanymą
Pasakykite mums keliais žodžiais, ko jums reikia: greitai jums atsakome.
Labiau mėgstate el. paštą? Rašykite mums adresu support@simafri.com.
Forma nerodoma? Rašykite mums tiesiogiai:
support@simafri.com