AI-robotar och franska webbplatser: vem bestämmer svaret

Innan en AI-robot läser en sida läser den en fil som säger vad den får göra med den. Filen finns på de flesta webbplatser. Den här mätningen tittar på vad den svarar, och framför allt på vem som skrev den.

Publicerad den 3 september 2026 10 301 .fr-webbplatser, mätta den 3 september 2026

97 %av webbplatserna namnger ingen AI-robot i sin robots.txt
2,2 %avvisar minst en, genom att namnge den
3,1 %stänger sin rot för alla robotar, sökmotorer inräknade

Filen finns redan där, den talar bara till någon annan

85,3 % av de mätta webbplatserna publicerar en robots.txt. Den filen har en historia: den skrevs för sökmotorer, i en tid då frågan var vilka sidor som skulle indexeras. Hälften av dessa filer ryms i en enda grupp av regler, och den gruppen talar till alla på en gång.

AI-robotarna läser samma fil och letar efter sitt eget namn i den. De hittar det inte på 97 % av webbplatserna. Det är varken ett avslag eller ett övervägt tillstånd: det är en fråga som ännu inte har ställts, i en fil som är tio år äldre än frågan.

Vad beståndet avvisar, robot för robot

Varje robot har sin egen grupp i en robots.txt, så en webbplats svarar OpenAI, Google och Common Crawl var för sig. Tabellen läser dessa svar ett i taget.

Robot Drivs av Vad den gör med sidan Webbplatser som avvisar den
CCBot Common Crawl Tränar en modell 2,0 %
GPTBot OpenAI Tränar en modell 2,0 %
Bytespider ByteDance Tränar en modell 1,8 %
ClaudeBot Anthropic Tränar en modell 1,8 %
Google-Extended Google Tränar en modell 1,8 %
Meta-ExternalAgent Meta Tränar en modell 1,7 %
Applebot-Extended Apple Tränar en modell 1,6 %
ChatGPT-User OpenAI Hämtar sidan när någon ställer frågan 0,3 %
PerplexityBot Perplexity Matar en svarsmotor 0,1 %
OAI-SearchBot OpenAI Matar en svarsmotor 0,1 %

Skillnaden är tydlig och står på egna ben: robotar som tränar modeller avvisas av omkring 2 %, de som hämtar en sida för att besvara en fråga tjugo gånger mindre. Det franska beståndet accepterar att citeras och avvisar att läras av.

De två besluten är inte samma sak

Att avvisa träning skyddar ett innehåll som ett företag betalat för att skapa. Det är ett försvarbart beslut, och 2,2 % av webbplatserna har fattat det uttryckligen.

Att stänga dörren för svarsmotorer ger ett annat: er webbplats upphör att vara en citerbar källa i just det ögonblick då era kunder ställer sina frågor till en AI i stället för till en sökmotor. 3,1 % av de mätta webbplatserna befinner sig där utan att ha velat det, genom en regel skriven för alla robotar långt innan dessa fanns.

Båda besluten fattas i samma fil, på tre rader. Det gäller bara att kunna skriva den.

På en stängd plattform är den filen inte er

En robots.txt levereras av den maskin som levererar webbplatsen. När webbplatsen bor på en stängd plattform är det plattformen som skriver filen, tillämpar den på alla sina kunder på en gång och uppdaterar den när den själv bestämmer.

Vi läste om 2 500 av mätningens filer för att se vilka som bar signaturen från en plattformsmall. Tabellen nedan visar vad var och en svarar för sina kunder.

Plattform Webbplatser i urvalet Regelgrupper
Shopify 57 2
WordPress.com 13 1
Squarespace 11 30
Wix 3 0
Webflow 1 0
Fil utan plattformssignatur 2 410 1

Squarespace levererar till sina kunder en fil som namnger ett trettiotal robotar, däribland alla i tabellen ovan, och avvisar ingen av dem. Shopify levererar en som inte namnger någon. I båda fallen är svaret detsamma för tusentals webbplatser, och ägaren till en av dem har varken skrivit det svaret eller möjlighet att ändra det.

Det är det som skiljer en webbplats man äger från en webbplats man bebor. Frågan om AI-robotar kom på två år; nästa kommer lika fort, och den avgörs på samma ställe, i en fil som någon måste kunna skriva åt er.

Serenity, kort sagt

Serenity är en webbplats som skapas, driftas, säkras och hålls uppdaterad av Simafri, som skapat, driftat och underhållit företagswebbplatser sedan 2002. Domännamnet registreras i kundens namn, och ett Simafri Suite-konto ingår.

Se erbjudandet och priserna

Metod

Urvalsram: de 4 590 553 aktiva .fr-domänerna i Afnics öppna datafil Afnic, fichier des domaines .fr actifs. Ur den dras en panel på 15 000 domäner, ordnade efter sha256-avtrycket av varje namn, vilket låter vem som helst bygga om samma panel utifrån det publicerade fröet. Panelen förblir densamma från en mätning till nästa.

Läskedja: den 3 september 2026 levererade 10 301 av dessa domäner en sida. För var och en hämtades filen robots.txt i samma samtal. 98 % gav ett fastställt svar, det vill säga en läsbar fil eller ett besked om att det inte finns någon, vilket tillåter allt. Siffrorna gäller dessa.

Vad som räknas som ett avslag: en robot är avvisad när dess egen regelgrupp förbjuder den webbplatsens rot. En grupp som talar till alla robotar samtidigt noteras separat, eftersom den handlar om krypning i allmänhet och inget säger om AI. En webbplats vars plattform namnger robotar inuti den allmänna gruppen räknas därför inte som en som har fattat ett beslut.

Vad som inte lästes: inget som kräver åtkomst till webbplatsen, dess administration eller dess drift. En begäran för sidan, en för filen.

Räckvidd: panelen dras ur samtliga aktiva .fr-domäner, företag, föreningar och privatpersoner tillsammans, utan kvalificering via organisationsnummer, till skillnad från våra två andra mätningar. Siffrorna beskriver alltså det franska beståndet som helhet. Plattformsläsningen omfattar 2 500 webbplatser dragna bland dem som levererar en fil.

Källa och återanvändning

Beståndets siffror kommer från ett offentligt index som publicerar sin metod, sin daterade panel och sin veckoserie, läst den 3 september 2026. Serien levereras i JSON, robot för robot, och går att spela om.

Se indexet och dess metod (Stileex)

JSON-API

Panelen mäts varje vecka, vilket kommer att visa om beståndet rör sig i denna fråga och åt vilket håll.

Ta tillbaka bestämmandet över vad er webbplats svarar

Simafri är ert företags tekniska allierade sedan 2002: vi skapar er webbplats, driftar den, underhåller den och håller den uppdaterad, med ert domännamn registrerat i ert namn. Ni bestämmer vem som får lära av era sidor och vem som får citera dem, vi gör greppet. Skriv till oss, så tittar vi på ert fall tillsammans.