Enne lehe lugemist loeb tehisintellekti robot faili, mis ütleb, mida tal on õigus sellega teha. See fail on olemas enamikul veebisaitidel. See mõõtmine vaatab, mida ta vastab, ja eelkõige seda, kes selle kirjutas.
85,3 % mõõdetud veebisaitidest avaldab robots.txt-faili. Sellel failil on ajalugu: see kirjutati otsimootorite jaoks ajal, mil küsimus oli, millised lehed indekseeritakse. Pool neist failidest mahub ühte ainsasse reeglirühma, ja see rühm pöördub kõigi poole korraga.
Tehisintellekti robotid loevad sama faili ja otsivad sealt oma nime. Nad ei leia seda 97 % veebisaitidest. See ei ole keeldumine ega läbimõeldud luba: see on küsimus, mida pole veel esitatud, failis, mis on temast kümme aastat vanem.
Igal robotil on robots.txt-failis oma rühm, nii et veebisait vastab OpenAI-le, Google-ile ja Common Crawlile eraldi. Tabel loeb neid vastuseid ükshaaval.
| Robot | Haldab | Mida ta lehega teeb | Veebisaidid, kes teda keelavad |
|---|---|---|---|
| CCBot | Common Crawl | Treenib mudelit | 2,0 % |
| GPTBot | OpenAI | Treenib mudelit | 2,0 % |
| Bytespider | ByteDance | Treenib mudelit | 1,8 % |
| ClaudeBot | Anthropic | Treenib mudelit | 1,8 % |
| Google-Extended | Treenib mudelit | 1,8 % | |
| Meta-ExternalAgent | Meta | Treenib mudelit | 1,7 % |
| Applebot-Extended | Apple | Treenib mudelit | 1,6 % |
| ChatGPT-User | OpenAI | Toob lehe, kui keegi küsimuse esitab | 0,3 % |
| PerplexityBot | Perplexity | Toidab vastusemootorit | 0,1 % |
| OAI-SearchBot | OpenAI | Toidab vastusemootorit | 0,1 % |
Vahe on selge ja seisab ise: mudeleid treenivaid roboteid keelab umbes 2 %, neid, kes toovad lehe küsimusele vastamiseks, kakskümmend korda vähem. Prantsuse kogum nõustub, et teda tsiteeritakse, ja keeldub sellest, et temast õpitakse.
Treenimisest keeldumine kaitseb sisu, mille loomise eest ettevõte maksis. See on kaitstav otsus, ja 2,2 % veebisaitidest on selle sõnaselgelt teinud.
Ukse sulgemine vastusemootorite ees sünnitab teise: teie veebisait lakkab olemast tsiteeritav allikas just sel hetkel, kui teie kliendid esitavad oma küsimused tehisintellektile otsimootori asemel. 3,1 % mõõdetud veebisaitidest on selles olukorras seda soovimata, reegli tõttu, mis kirjutati kõigi robotite jaoks ammu enne nende olemasolu.
Mõlemad otsused tehakse samas failis, kolmel real. Tuleb vaid osata seda kirjutada.
Robots.txt-faili serveerib see masin, mis serveerib veebisaiti. Kui veebisait elab suletud platvormil, kirjutab faili platvorm, rakendab selle kõigile oma klientidele korraga ja uuendab siis, kui ise otsustab.
Lugesime uuesti 2 500 mõõtmise faili, et näha, millised kannavad platvormimalli allkirja. Alljärgnev tabel näitab, mida igaüks neist oma klientide eest vastab.
| Platvorm | Veebisaidid valimis | Reeglirühmi |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Fail ilma platvormi allkirjata | 2410 | 1 |
Squarespace serveerib oma klientidele faili, mis nimetab umbes kolmkümmend robotit, nende hulgas kõik ülalolevast tabelist, ja ei keela ühtegi. Shopify serveerib faili, mis ei nimeta ühtegi. Mõlemal juhul on vastus sama tuhandete veebisaitide jaoks, ja ühe sellise veebisaidi omanik pole seda vastust kirjutanud ega saa seda ka muuta.
See eristab veebisaiti, mida omatakse, veebisaidist, mida asustatakse. Tehisintellekti robotite küsimus saabus kahe aastaga; järgmine saabub sama kiiresti ja laheneb samas kohas, failis, mida keegi peab oskama teie eest kirjutada.
Serenity on veebisait, mille Simafri loob, majutab, kaitseb ja hoiab ajakohasena ning mis on loonud, majutanud ja hooldanud ettevõtete veebisaite alates 2002. aastast. Domeeninimi registreeritakse kliendi nimele ja Simafri Suite konto kuulub juurde.
Valimi raamistik: Afnici avaandmete failis olevad 4 590 553 aktiivset .fr domeeni Afnic, fichier des domaines .fr actifs. Sellest loositakse 15 000 domeenist koosnev paneel, järjestatuna iga nime sha256 jälje järgi, mis lubab igaühel avaldatud seemnest sama paneel uuesti üles ehitada. Paneel jääb ühest mõõtmisest teise samaks.
Lugemisahel: 3. septembril 2026 serveeris 10 301 neist domeenidest lehe. Igaühe puhul küsiti robots.txt-faili samas ühenduses. 98 % andis välja kindlaks kujunenud hoiaku, see tähendab loetava faili või vastuse, et seda pole, mis lubab kõike. Arvud käivad nende kohta.
Mis loeb keelamiseks: robot on keelatud siis, kui tema enda reeglirühm keelab talle veebisaidi juure. Rühm, mis pöördub korraga kõigi robotite poole, märgitakse eraldi, sest see puudutab roomamist üldiselt ega ütle tehisintellekti kohta midagi. Veebisait, mille platvorm nimetab roboteid selle üldise rühma sees, ei loe seega otsuse teinuks.
Mida ei loetud: mitte midagi, mis nõuab ligipääsu veebisaidile, selle haldusele või majutusele. Üks päring lehele, üks failile.
Ulatus: paneel loositakse kõigi aktiivsete .fr domeenide seast, ettevõtted, ühendused ja eraisikud koos, ilma äriregistri numbri järgi valimata, erinevalt meie kahest teisest mõõtmisest. Arvud kirjeldavad seega Prantsuse kogumit tervikuna. Platvormide lugemine hõlmab 2 500 veebisaiti, mis on loositud nende hulgast, kes faili serveerivad.
Kogumi arvud tulevad avalikust indeksist, mis avaldab oma meetodi, dateeritud paneeli ja iganädalase seeria, loetud 3. septembril 2026. Seeriat serveeritakse JSON-vormingus, robot roboti haaval, ja seda saab uuesti läbi mängida.
Vaadake indeksit ja selle meetodit (Stileex)
Paneeli mõõdetakse igal nädalal, mis näitab, kas kogum selles küsimuses liigub ja millises suunas.
Simafri on teie ettevõtte tehniline liitlane alates 2002. aastast: loome teie veebisaidi, majutame seda, hooldame ja hoiame ajakohasena, teie domeeninimi teie nimele registreeritud. Teie otsustate, kes tohib teie lehtedest õppida ja kes tohib neid tsiteerida, meie teeme liigutuse. Kirjutage meile, vaatame teie juhtumi koos üle.
Simafri
Räägime teie kavatsusest
Öelge meile paari sõnaga, mida vajate: vastame teile kiiresti.
Eelistate e-posti? Kirjutage meile aadressil support@simafri.com.
Vorm ei kuva? Kirjutage meile otse:
support@simafri.com