Mielőtt egy MI-robot elolvasna egy oldalt, elolvas egy fájlt, amely megmondja, mit tehet vele. Ez a fájl a legtöbb webhelyen létezik. Ez a mérés azt nézi, mit válaszol, és mindenekelőtt azt, ki írta.
A mért webhelyek 85,3 %-a közzétesz egy robots.txt fájlt. Ennek a fájlnak története van: a keresőmotorok számára írták, olyan időben, amikor a kérdés az volt, mely oldalak kerülnek indexbe. E fájlok fele egyetlen szabálycsoportba fér, és ez a csoport mindenkihez egyszerre szól.
Az MI-robotok ugyanezt a fájlt olvassák, és a saját nevüket keresik benne. A webhelyek 97 %-án nem találják meg. Ez nem elutasítás és nem megfontolt engedély: ez egy kérdés, amelyet még nem tettek fel, egy fájlban, amely tíz évvel öregebb nála.
Minden robotnak saját csoportja van a robots.txt fájlban, így egy webhely külön válaszol az OpenAInak, a Google-nak és a Common Crawlnak. A táblázat egyenként olvassa ezeket a válaszokat.
| Robot | Üzemelteti | Mit kezd az oldallal | Webhelyek, amelyek elutasítják |
|---|---|---|---|
| CCBot | Common Crawl | Modellt tanít | 2,0 % |
| GPTBot | OpenAI | Modellt tanít | 2,0 % |
| Bytespider | ByteDance | Modellt tanít | 1,8 % |
| ClaudeBot | Anthropic | Modellt tanít | 1,8 % |
| Google-Extended | Modellt tanít | 1,8 % | |
| Meta-ExternalAgent | Meta | Modellt tanít | 1,7 % |
| Applebot-Extended | Apple | Modellt tanít | 1,6 % |
| ChatGPT-User | OpenAI | Lekéri az oldalt, amikor valaki kérdést tesz fel | 0,3 % |
| PerplexityBot | Perplexity | Válaszmotort táplál | 0,1 % |
| OAI-SearchBot | OpenAI | Válaszmotort táplál | 0,1 % |
A különbség éles, és megáll magában: a modelleket tanító robotokat körülbelül 2 % utasítja el, azokat, amelyek egy oldalt kérnek le egy kérdés megválaszolásához, hússzor kevesebben. A francia állomány elfogadja, hogy idézzék, és elutasítja, hogy tanuljanak belőle.
A tanítás elutasítása olyan tartalmat véd, amelynek előállításáért egy vállalat fizetett. Ez védhető döntés, és a webhelyek 2,2 %-a kifejezetten meghozta.
A válaszmotorok előtti ajtó bezárása egy másikat szül: az Ön webhelye pontosan abban a pillanatban szűnik meg idézhető forrás lenni, amikor ügyfelei egy MI-hez fordulnak kérdéseikkel keresőmotor helyett. A mért webhelyek 3,1 %-a van ebben a helyzetben anélkül, hogy akarta volna, egy olyan szabály miatt, amelyet minden robot számára írtak, jóval azelőtt, hogy ezek léteztek volna.
Mindkét döntés ugyanabban a fájlban születik, három sorban. Csak tudni kell megírni.
A robots.txt fájlt az a gép szolgálja ki, amely a webhelyet is. Ha ez a webhely zárt platformon él, a platform írja meg, alkalmazza minden ügyfelére egyszerre, és akkor frissíti, amikor ő dönt így.
Újraolvastunk 2 500 fájlt a mérésből, hogy lássuk, melyik viseli egy platformsablon aláírását. Az alábbi táblázat megmutatja, mit válaszol mindegyikük az ügyfelei helyett.
| Platform | Webhelyek a mintában | Szabálycsoportok |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Platformaláírás nélküli fájl | 2410 | 1 |
A Squarespace olyan fájlt szolgál ki ügyfeleinek, amely mintegy harminc robotot nevez meg, köztük a fenti táblázat összes robotját, és egyet sem utasít el. A Shopify olyat szolgál ki, amely egyet sem nevez meg. Mindkét esetben a válasz több ezer webhely számára ugyanaz, és e webhelyek egyikének tulajdonosa sem nem írta ezt a választ, sem nem tudja megváltoztatni.
Ez különbözteti meg a birtokolt webhelyet a lakott webhelytől. Az MI-robotok kérdése két év alatt érkezett; a következő ugyanilyen gyorsan érkezik, és ugyanott dől el, egy fájlban, amelyet valakinek meg kell tudnia írni Ön helyett.
A Serenity egy webhely, amelyet a Simafri hoz létre, üzemeltet, véd és tart naprakészen, és amely 2002 óta készít, üzemeltet és karbantart vállalati webhelyeket. A domainnév az ügyfél nevére van bejegyezve, és egy Simafri Suite fiók is jár hozzá.
Mintavételi keret: az Afnic nyílt adatállományában szereplő 4 590 553 aktív .fr domain Afnic, fichier des domaines .fr actifs. Ebből 15 000 domainből álló panelt sorsolunk, minden név sha256 lenyomata szerint rendezve, ami bárkinek lehetővé teszi ugyanannak a panelnek az újraépítését a közzétett magból. A panel mérésről mérésre ugyanaz marad.
Olvasási lánc: 2026. szeptember 3-án e domainek közül 10 301 szolgált ki oldalt. Mindegyiknél ugyanabban a beszélgetésben kértük le a robots.txt fájlt. 98 % adott vissza megállapított álláspontot, vagyis olvasható fájlt vagy olyan választ, hogy nincs ilyen, ami mindent enged. A számok ezekre vonatkoznak.
Mi számít elutasításnak: egy robot akkor elutasított, ha a saját szabálycsoportja megtiltja neki a webhely gyökerét. Az összes robothoz egyszerre szóló csoportot külön jegyezzük fel, mert az általában a bejárásról szól, és semmit sem mond az MI-ről. Az a webhely tehát, amelynek platformja ebben az általános csoportban nevez meg robotokat, nem számít döntést hozónak.
Amit nem olvastunk: semmit, ami hozzáférést kíván a webhelyhez, annak adminisztrációjához vagy tárhelyéhez. Egy kérés az oldalra, egy a fájlra.
Hatókör: a panel az összes aktív .fr domainből sorsol, vállalatok, egyesületek és magánszemélyek együtt, cégazonosító szerinti szűrés nélkül, két másik mérésünkkel ellentétben. A számok tehát a francia állományt írják le a maga egészében. A platformok olvasása 2 500 webhelyre terjed ki, azok közül sorsolva, amelyek fájlt szolgálnak ki.
Az állomány számai egy nyilvános indexből származnak, amely közzéteszi módszerét, datált paneljét és heti sorozatát, olvasva 2026. szeptember 3-án. A sorozatot JSON formában szolgálja ki, robotonként, és újrajátszható.
Az index és módszere megtekintése (Stileex)
A panelt hetente mérjük, ami megmutatja, mozdul-e az állomány ebben a kérdésben, és milyen irányba.
A Simafri 2002 óta vállalata műszaki szövetségese: elkészítjük webhelyét, üzemeltetjük, karbantartjuk és naprakészen tartjuk, a domainnévvel az Ön nevére bejegyezve. Ön dönti el, ki tanulhat az oldalaiból és ki idézheti őket, mi elvégezzük a mozdulatot. Írjon nekünk, együtt megnézzük az esetét.
Simafri
Beszéljünk a weboldaláról
Meséljen néhány szóban a projektjéről: hamarosan jelentkezünk.
Inkább e-mailben? Írjon nekünk ide: support@simafri.com.
Nem jelenik meg az űrlap? Írjon nekünk közvetlenül:
support@simafri.com