Før en AI-robot læser en side, læser den en fil, der siger, hvad den må gøre med den. Filen findes på de fleste websites. Denne måling ser på, hvad den svarer, og frem for alt hvem der har skrevet den.
85,3 % af de målte websites udgiver en robots.txt. Filen har en historie: den blev skrevet til søgemaskiner, på et tidspunkt hvor spørgsmålet var, hvilke sider der ville blive indekseret. Halvdelen af disse filer rummer en enkelt gruppe regler, og den gruppe henvender sig til alle på en gang.
AI-robotterne læser den samme fil og leder efter deres eget navn i den. De finder det ikke på 97 % af websitene. Det er hverken en afvisning eller en overvejet tilladelse: det er et spørgsmål, der endnu ikke er stillet, i en fil, der er ti år ældre end spørgsmålet.
Hver robot har sin egen gruppe i en robots.txt, så et website svarer OpenAI, Google og Common Crawl hver for sig. Tabellen læser disse svar et ad gangen.
| Robot | Drives af | Hvad den gør med siden | Websites, der afviser den |
|---|---|---|---|
| CCBot | Common Crawl | Træner en model | 2,0 % |
| GPTBot | OpenAI | Træner en model | 2,0 % |
| Bytespider | ByteDance | Træner en model | 1,8 % |
| ClaudeBot | Anthropic | Træner en model | 1,8 % |
| Google-Extended | Træner en model | 1,8 % | |
| Meta-ExternalAgent | Meta | Træner en model | 1,7 % |
| Applebot-Extended | Apple | Træner en model | 1,6 % |
| ChatGPT-User | OpenAI | Henter siden, når nogen stiller spørgsmålet | 0,3 % |
| PerplexityBot | Perplexity | Fodrer en svarmaskine | 0,1 % |
| OAI-SearchBot | OpenAI | Fodrer en svarmaskine | 0,1 % |
Forskellen er tydelig og står selv: robotter, der træner modeller, afvises af omkring 2 %, de, der henter en side for at besvare et spørgsmål, tyve gange mindre. Den franske bestand accepterer at blive citeret og afviser at blive lært af.
At afvise træning beskytter et indhold, som en virksomhed har betalt for at skabe. Det er en forsvarlig beslutning, og 2,2 % af websitene har truffet den udtrykkeligt.
At lukke døren for svarmaskiner giver en anden: jeres website ophører med at være en citerbar kilde netop i det øjeblik, hvor jeres kunder stiller deres spørgsmål til en AI i stedet for til en søgemaskine. 3,1 % af de målte websites er i den situation uden at have villet det, på grund af en regel skrevet til alle robotter længe før disse fandtes.
Begge beslutninger træffes i den samme fil, på tre linjer. Man skal blot kunne skrive den.
En robots.txt leveres af den maskine, der leverer websitet. Når websitet bor på en lukket platform, er det platformen, der skriver filen, anvender den på alle sine kunder på en gang og opdaterer den, når den selv beslutter det.
Vi genlæste 2 500 af målingens filer for at se, hvilke der bar signaturen fra en platformsskabelon. Tabellen nedenfor viser, hvad hver enkelt svarer på sine kunders vegne.
| Platform | Websites i udtrækket | Regelgrupper |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Fil uden platformssignatur | 2.410 | 1 |
Squarespace leverer sine kunder en fil, der nævner en tredive robotter, heriblandt alle i tabellen ovenfor, og afviser ingen af dem. Shopify leverer en, der ikke nævner nogen. I begge tilfælde er svaret det samme for tusindvis af websites, og ejeren af et af dem har hverken skrevet det svar eller mulighed for at ændre det.
Det er det, der skiller et website, man ejer, fra et website, man bebor. Spørgsmålet om AI-robotter kom på to år; det næste kommer lige så hurtigt, og det afgøres samme sted, i en fil, som nogen skal kunne skrive for jer.
Serenity er et website, der skabes, hostes, sikres og holdes opdateret af Simafri, som har skabt, hostet og vedligeholdt virksomhedswebsites siden 2002. Domænenavnet registreres i kundens navn, og en Simafri Suite-konto er inkluderet.
Udtræksramme: de 4 590 553 aktive .fr-domæner i Afnics åbne datafil Afnic, fichier des domaines .fr actifs. Heraf udtrækkes et panel på 15 000 domæner, ordnet efter sha256-aftrykket af hvert navn, hvilket lader enhver genopbygge det samme panel ud fra det offentliggjorte frø. Panelet forbliver det samme fra en måling til den næste.
Læsekæde: den 3. september 2026 leverede 10 301 af disse domæner en side. For hvert af dem blev filen robots.txt hentet i samme samtale. 98 % gav en fastlagt politik, altså en læsbar fil eller et svar om, at der ikke er nogen, hvilket tillader alt. Tallene dækker disse.
Hvad der tæller som en afvisning: en robot er afvist, når dens egen regelgruppe forbyder den websitets rod. En gruppe, der henvender sig til alle robotter på en gang, noteres særskilt, fordi den handler om crawl i almindelighed og intet siger om AI. Et website, hvis platform nævner robotter inde i den almene gruppe, tæller derfor ikke som et, der har truffet en beslutning.
Hvad der ikke blev læst: intet, der kræver adgang til websitet, dets administration eller dets hosting. En forespørgsel til siden, en til filen.
Rækkevidde: panelet udtrækkes af samtlige aktive .fr-domæner, virksomheder, foreninger og privatpersoner tilsammen, uden kvalificering via virksomhedsnummer, i modsætning til vores to andre målinger. Tallene beskriver altså den franske bestand som helhed. Platformslæsningen dækker 2 500 websites udtrukket blandt dem, der leverer en fil.
Bestandens tal kommer fra et offentligt indeks, der udgiver sin metode, sit daterede panel og sin ugentlige serie, læst den 3. september 2026. Serien leveres i JSON, robot for robot, og kan afspilles igen.
Se indekset og dets metode (Stileex)
Panelet måles hver uge, hvilket vil vise, om bestanden bevæger sig i dette spørgsmål og i hvilken retning.
Simafri har været jeres virksomheds tekniske allierede siden 2002: vi skaber jeres website, hoster det, vedligeholder det og holder det opdateret, med jeres domænenavn registreret i jeres navn. I bestemmer, hvem der må lære af jeres sider, og hvem der må citere dem, vi laver grebet. Skriv til os, så ser vi på jeres sag sammen.
Simafri
Lad os tale om din hjemmeside
Fortæl os om dit projekt med få ord: vi vender hurtigt tilbage til dig.
Foretrækker du e-mail? Skriv til os på support@simafri.com.
Vises formularen ikke? Skriv direkte til os:
support@simafri.com