Tekoälyrobotit ja ranskalaiset sivustot: kuka päättää vastauksen

Ennen kuin tekoälyrobotti lukee sivun, se lukee tiedoston, joka kertoo mitä se saa sillä tehdä. Tiedosto on olemassa useimmilla sivustoilla. Tämä mittaus katsoo mitä se vastaa, ja ennen kaikkea kuka sen on kirjoittanut.

Julkaistu 3. syyskuuta 2026 10 301 .fr-sivustoa, mitattu 3. syyskuuta 2026

97 %sivustoista ei nimeä yhtään tekoälyrobottia robots.txt-tiedostossaan
2,2 %torjuu ainakin yhden nimeämällä sen
3,1 %sulkee juurensa kaikilta roboteilta, hakukoneet mukaan lukien

Tiedosto on jo siellä, se vain puhuu jollekin toiselle

85,3 % mitatuista sivustoista julkaisee robots.txt-tiedoston. Tiedostolla on historia: se kirjoitettiin hakukoneita varten aikana, jolloin kysymys oli siitä mitkä sivut indeksoitaisiin. Puolet näistä tiedostoista mahtuu yhteen ainoaan sääntöryhmään, ja tuo ryhmä puhuu kaikille yhtä aikaa.

Tekoälyrobotit lukevat saman tiedoston ja etsivät siitä omaa nimeään. Ne eivät löydä sitä 97 prosentilla sivustoista. Se ei ole kieltäytyminen eikä harkittu lupa: se on kysymys jota ei ole vielä esitetty, tiedostossa joka on kymmenen vuotta sitä vanhempi.

Mitä kanta torjuu, robotti kerrallaan

Jokaisella robotilla on oma ryhmänsä robots.txt-tiedostossa, joten sivusto vastaa OpenAIlle, Googlelle ja Common Crawlille erikseen. Taulukko lukee nämä vastaukset yksi kerrallaan.

Robotti Ylläpitäjä Mitä se tekee sivulla Sivustot jotka torjuvat sen
CCBot Common Crawl Kouluttaa mallia 2,0 %
GPTBot OpenAI Kouluttaa mallia 2,0 %
Bytespider ByteDance Kouluttaa mallia 1,8 %
ClaudeBot Anthropic Kouluttaa mallia 1,8 %
Google-Extended Google Kouluttaa mallia 1,8 %
Meta-ExternalAgent Meta Kouluttaa mallia 1,7 %
Applebot-Extended Apple Kouluttaa mallia 1,6 %
ChatGPT-User OpenAI Hakee sivun kun joku esittää kysymyksen 0,3 %
PerplexityBot Perplexity Syöttää vastausmoottoria 0,1 %
OAI-SearchBot OpenAI Syöttää vastausmoottoria 0,1 %

Ero on selvä ja seisoo omillaan: malleja kouluttavat robotit torjutaan noin 2 prosentilla, ne jotka hakevat sivun vastatakseen kysymykseen kaksikymmentä kertaa harvemmin. Ranskalainen kanta hyväksyy tulla siteeratuksi ja torjuu tulla opituksi.

Nämä kaksi päätöstä eivät ole sama asia

Koulutuksen torjuminen suojaa sisältöä, jonka tuottamisesta yritys on maksanut. Se on puolustettava päätös, ja 2,2 % sivustoista on tehnyt sen nimenomaisesti.

Oven sulkeminen vastausmoottoreilta tuottaa toisen: sivustonne lakkaa olemasta siteerattava lähde juuri sillä hetkellä, kun asiakkaanne esittävät kysymyksensä tekoälylle hakukoneen sijaan. 3,1 % mitatuista sivustoista on tässä tilanteessa sitä tahtomatta, säännön takia joka kirjoitettiin kaikille roboteille kauan ennen kuin nämä olivat olemassa.

Molemmat päätökset tehdään samassa tiedostossa, kolmella rivillä. Se pitää vain pystyä kirjoittamaan.

Suljetulla alustalla tuo tiedosto ei ole teidän

Robots.txt-tiedoston tarjoaa se kone, joka tarjoaa sivuston. Kun sivusto asuu suljetulla alustalla, alusta kirjoittaa tiedoston, soveltaa sitä kaikkiin asiakkaisiinsa yhtä aikaa ja päivittää sen silloin kun itse päättää.

Luimme uudelleen 2 500 mittauksen tiedostoa nähdäksemme, mitkä niistä kantoivat alustan mallipohjan allekirjoitusta. Alla oleva taulukko kertoo, mitä kukin niistä vastaa asiakkaidensa puolesta.

Alusta Sivustot otoksessa Sääntöryhmiä
Shopify 57 2
WordPress.com 13 1
Squarespace 11 30
Wix 3 0
Webflow 1 0
Tiedosto ilman alustan allekirjoitusta 2 410 1

Squarespace tarjoaa asiakkailleen tiedoston, joka nimeää kolmisenkymmentä robottia, mukaan lukien kaikki yllä olevan taulukon robotit, eikä torju yhtäkään. Shopify tarjoaa tiedoston joka ei nimeä yhtäkään. Molemmissa tapauksissa vastaus on sama tuhansille sivustoille, eikä yhden näistä sivustoista omistaja ole kirjoittanut tuota vastausta eikä voi sitä muuttaa.

Tämä erottaa sivuston jonka omistaa sivustosta jossa asuu. Kysymys tekoälyroboteista saapui kahdessa vuodessa; seuraava saapuu yhtä nopeasti, ja se ratkaistaan samassa paikassa, tiedostossa jonka jonkun on voitava kirjoittaa teidän puolestanne.

Serenity lyhyesti

Serenity on verkkosivusto, jonka Simafri luo, ylläpitää, suojaa ja pitää ajan tasalla. Simafri on luonut, ylläpitänyt ja huoltanut yritysten sivustoja vuodesta 2002. Verkkotunnus rekisteröidään asiakkaan nimiin, ja Simafri Suite -tili sisältyy.

Katso tarjous ja hinnat

Menetelmä

Otantakehikko: Afnicin avoimen datatiedoston 4 590 553 aktiivista .fr-verkkotunnusta Afnic, fichier des domaines .fr actifs. Siitä arvotaan 15 000 verkkotunnuksen paneeli, järjestettynä kunkin nimen sha256-tiivisteen mukaan, mikä antaa kenen tahansa rakentaa saman paneelin julkaistusta siemenestä. Paneeli pysyy samana mittauksesta toiseen.

Lukuketju: 3. syyskuuta 2026 näistä verkkotunnuksista 10 301 tarjosi sivun. Kullekin pyydettiin robots.txt-tiedosto samassa yhteydessä. 98 % palautti vakiintuneen linjan, eli luettavan tiedoston tai vastauksen jonka mukaan sitä ei ole, mikä sallii kaiken. Luvut koskevat näitä.

Mikä lasketaan torjunnaksi: robotti on torjuttu, kun sen oma sääntöryhmä kieltää siltä sivuston juuren. Ryhmä joka puhuu kaikille roboteille yhtä aikaa kirjataan erikseen, koska se koskee ryömintää yleisesti eikä sano mitään tekoälystä. Sivusto jonka alusta nimeää robotteja tuon yleisen ryhmän sisällä ei siis lasketa päätöksen tehneeksi.

Mitä ei luettu: mitään mikä vaatii pääsyn sivustolle, sen hallintaan tai sen palvelimelle. Yksi pyyntö sivulle, yksi tiedostolle.

Kattavuus: paneeli arvotaan kaikista aktiivisista .fr-verkkotunnuksista, yritykset, yhdistykset ja yksityishenkilöt yhdessä, ilman yritystunnuksella tehtyä rajausta, toisin kuin kahdessa muussa mittauksessamme. Luvut kuvaavat siis ranskalaista kantaa kokonaisuutena. Alustojen luenta kattaa 2 500 sivustoa, jotka on arvottu tiedoston tarjoavien joukosta.

Lähde ja uudelleenkäyttö

Kannan luvut tulevat julkisesta indeksistä, joka julkaisee menetelmänsä, päivätyn paneelinsa ja viikoittaisen sarjansa, luettu 3. syyskuuta 2026. Sarja tarjoillaan JSON-muodossa, robotti kerrallaan, ja se on toistettavissa.

Katso indeksi ja sen menetelmä (Stileex)

JSON-rajapinta

Paneeli mitataan joka viikko, mikä kertoo liikkuuko kanta tässä kysymyksessä ja mihin suuntaan.

Ottakaa takaisin valta siihen mitä sivustonne vastaa

Simafri on ollut yrityksenne tekninen liittolainen vuodesta 2002: luomme sivustonne, ylläpidämme sitä, huollamme sitä ja pidämme sen ajan tasalla, verkkotunnus rekisteröitynä teidän nimiinne. Te päätätte kuka saa oppia sivuistanne ja kuka saa siteerata niitä, me teemme liikkeen. Kirjoittakaa meille, katsotaan tilanteenne yhdessä.