Pirms lasīt lapu, MI robots izlasa failu, kas pasaka, ko tam ar to ir tiesības darīt. Šis fails pastāv lielākajā daļā vietņu. Šis mērījums skatās, ko tas atbild, un galvenokārt to, kas to ir uzrakstījis.
85,3 % mērīto vietņu publicē robots.txt. Šim failam ir vēsture: tas tika rakstīts meklētājprogrammām, laikā, kad jautājums bija par to, kuras lapas tiks indeksētas. Puse no šiem failiem ietilpst vienā vienīgā noteikumu grupā, un šī grupa uzrunā visus reizē.
MI roboti lasa to pašu failu un meklē tajā savu vārdu. Viņi to neatrod 97 % vietņu. Tas nav ne atteikums, ne pārdomāta atļauja: tas ir jautājums, kas vēl nav uzdots, failā, kas ir par desmit gadiem vecāks par to.
Katram robotam robots.txt ir sava grupa, tāpēc vietne atbild OpenAI, Google un Common Crawl atsevišķi. Tabula lasa šīs atbildes vienu pēc otras.
| Robots | Uztur | Ko tas dara ar lapu | Vietnes, kas to atsaka |
|---|---|---|---|
| CCBot | Common Crawl | Apmāca modeli | 2,0 % |
| GPTBot | OpenAI | Apmāca modeli | 2,0 % |
| Bytespider | ByteDance | Apmāca modeli | 1,8 % |
| ClaudeBot | Anthropic | Apmāca modeli | 1,8 % |
| Google-Extended | Apmāca modeli | 1,8 % | |
| Meta-ExternalAgent | Meta | Apmāca modeli | 1,7 % |
| Applebot-Extended | Apple | Apmāca modeli | 1,6 % |
| ChatGPT-User | OpenAI | Ielādē lapu, kad kāds uzdod jautājumu | 0,3 % |
| PerplexityBot | Perplexity | Baro atbilžu dzini | 0,1 % |
| OAI-SearchBot | OpenAI | Baro atbilžu dzini | 0,1 % |
Atšķirība ir skaidra un turas pati: robotus, kas apmāca modeļus, atsaka apmēram 2 %, tos, kas ielādē lapu, lai atbildētu uz jautājumu, divdesmit reizes mazāk. Francijas kopums pieņem, ka to citē, un atsaka, ka no tā mācās.
Atteikties no apmācības aizsargā saturu, par kura radīšanu uzņēmums ir maksājis. Tas ir aizstāvams lēmums, un 2,2 % vietņu to ir pieņēmušas skaidri.
Aizvērt durvis atbilžu dziņiem rada citu: jūsu vietne pārstāj būt citējams avots tieši tajā brīdī, kad jūsu klienti savus jautājumus uzdod mākslīgajam intelektam, nevis meklētājprogrammai. 3,1 % mērīto vietņu ir šādā stāvoklī, to nevēloties, tāda noteikuma dēļ, kas rakstīts visiem robotiem ilgi pirms šie pastāvēja.
Abi lēmumi tiek pieņemti tajā pašā failā, trīs rindās. Atliek prast to uzrakstīt.
Robots.txt pasniedz tā pati mašīna, kas pasniedz vietni. Kad vietne dzīvo slēgtā platformā, to raksta platforma, piemēro visiem saviem klientiem reizē un atjaunina tad, kad pati izlemj.
Mēs pārlasījām 2 500 mērījuma failu, lai redzētu, kuri nes platformas veidnes parakstu. Zemāk esošā tabula rāda, ko katra no tām atbild savu klientu vietā.
| Platforma | Vietnes izlasē | Noteikumu grupas |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Fails bez platformas paraksta | 2410 | 1 |
Squarespace saviem klientiem pasniedz failu, kas nosauc kādus trīsdesmit robotus, to vidū visus no augšējās tabulas, un neatsaka nevienu. Shopify pasniedz tādu, kas nenosauc nevienu. Abos gadījumos atbilde ir tā pati tūkstošiem vietņu, un vienas no tām īpašnieks šo atbildi nav rakstījis un arī nevar to mainīt.
Tas atšķir vietni, kas pieder, no vietnes, kurā mitinās. Jautājums par MI robotiem atnāca divos gados; nākamais atnāks tikpat ātri un atrisināsies tajā pašā vietā, failā, ko kādam jāprot uzrakstīt jūsu vietā.
Serenity ir tīmekļa vietne, ko izveido, mitina, aizsargā un uztur aktuālu Simafri, kas veido, mitina un uztur uzņēmumu vietnes kopš 2002. gada. Domēna vārds tiek reģistrēts uz klienta vārda, un Simafri Suite konts ir iekļauts.
Izlases ietvars: 4 590 553 aktīvie .fr domēni no Afnic atvērto datu faila Afnic, fichier des domaines .fr actifs. No tā tiek izlozēts 15 000 domēnu panelis, sakārtots pēc katra nosaukuma sha256 nospieduma, kas ļauj ikvienam no publicētās sēklas atjaunot to pašu paneli. Panelis paliek tas pats no viena mērījuma uz nākamo.
Lasīšanas ķēde: 2026. gada 3. septembrī 10 301 no šiem domēniem pasniedza lapu. Katram no tiem robots.txt fails tika pieprasīts tajā pašā sarunā. 98 % atgrieza noteiktu nostāju, tas ir, lasāmu failu vai atbildi, ka tāda nav, kas atļauj visu. Skaitļi attiecas uz tiem.
Kas skaitās par atteikumu: robots ir atteikts, kad tā paša noteikumu grupa tam aizliedz vietnes sakni. Grupa, kas uzrunā visus robotus reizē, tiek fiksēta atsevišķi, jo tā attiecas uz pārmeklēšanu vispār un neko nesaka par MI. Vietne, kuras platforma nosauc robotus šajā vispārējā grupā, tātad neskaitās kā tāda, kas pieņēmusi lēmumu.
Kas netika lasīts: nekas, kas prasa piekļuvi vietnei, tās administrācijai vai mitināšanai. Viens pieprasījums lapai, viens failam.
Tvērums: panelis tiek lozēts no visiem aktīvajiem .fr domēniem, uzņēmumi, biedrības un privātpersonas kopā, bez atlases pēc uzņēmuma numura, atšķirībā no mūsu abiem citiem mērījumiem. Skaitļi tātad apraksta Francijas kopumu kopumā. Platformu lasīšana aptver 2 500 vietnes, kas izlozētas starp tām, kuras pasniedz failu.
Kopuma skaitļi nāk no publiska indeksa, kas publicē savu metodi, datētu paneli un nedēļas rindu, nolasīts 2026. gada 3. septembrī. Rinda tiek pasniegta JSON formātā, robotu pa robotam, un ir atkārtojama.
Skatīt indeksu un tā metodi (Stileex)
Panelis tiek mērīts katru nedēļu, kas parādīs, vai kopums šajā jautājumā kustas un kurā virzienā.
Simafri ir jūsu uzņēmuma tehniskais sabiedrotais kopš 2002. gada: mēs izveidojam jūsu vietni, to mitinām, uzturam un turam aktuālu, ar jūsu domēna vārdu, kas reģistrēts uz jūsu vārda. Jūs izlemjat, kas drīkst mācīties no jūsu lapām un kas drīkst tās citēt, mēs veicam kustību. Rakstiet mums, apskatīsim jūsu gadījumu kopā.
Simafri
Parunāsim par jūsu ieceri
Pasakiet mums dažos vārdos, kas jums vajadzīgs: mēs jums ātri atbildam.
Labāk e-pastu? Rakstiet mums uz support@simafri.com.
Veidlapa neparādās? Rakstiet mums tieši:
support@simafri.com