Ier e KI-Robot eng Säit liest, liest hien eng Datei, déi seet wat hie mat der Säit maache duerf. Dës Datei gëtt et op de meeschte Websäiten. Dës Erhiewung kuckt wat se äntwert, a virun allem wien se geschriwwen huet.
85,3 % vun den erhuewene Websäite publizéieren eng robots.txt. Dës Datei huet eng Geschicht: si gouf fir d Sichmaschinne geschriwwen, an enger Zäit wou d Fro war wéi eng Säite géifen indexéiert ginn. D Hallschent vun dëse Dateie passt an eng eenzeg Grupp vu Reegelen, an dës Grupp schwätzt jiddereen op eemol un.
D KI-Roboteren liesen déiselwecht Datei a sichen dran hiren eegenen Numm. Si fanne en net op 97 % vun de Websäiten. Dat ass weder e Refus nach eng iwwerluechte Erlaabnes: et ass eng Fro déi nach net gestallt gouf, an enger Datei déi zéng Joer méi al ass wéi si.
All Robot huet seng eege Grupp an enger robots.txt, also äntwert eng Websäit OpenAI, Google a Common Crawl getrennt. D Tabell liest dës Äntwerten eng no der anerer.
| Robot | Bedriwwe vun | Wat hie mat der Säit mécht | Websäiten déi hie refuséieren |
|---|---|---|---|
| CCBot | Common Crawl | Trainéiert e Modell | 2,0 % |
| GPTBot | OpenAI | Trainéiert e Modell | 2,0 % |
| Bytespider | ByteDance | Trainéiert e Modell | 1,8 % |
| ClaudeBot | Anthropic | Trainéiert e Modell | 1,8 % |
| Google-Extended | Trainéiert e Modell | 1,8 % | |
| Meta-ExternalAgent | Meta | Trainéiert e Modell | 1,7 % |
| Applebot-Extended | Apple | Trainéiert e Modell | 1,6 % |
| ChatGPT-User | OpenAI | Hëlt d Säit wann een eng Fro stellt | 0,3 % |
| PerplexityBot | Perplexity | Speist eng Äntwertmaschinn | 0,1 % |
| OAI-SearchBot | OpenAI | Speist eng Äntwertmaschinn | 0,1 % |
Den Ënnerscheed ass kloer a steet fir sech: Roboteren déi Modeller trainéieren ginn ëm 2 % refuséiert, déi déi eng Säit huelen fir op eng Fro ze äntwerten zwanzeg Mol manner. De franséische Bestand hëlt un datt en zitéiert gëtt a refuséiert datt e geléiert gëtt.
D Training ze refuséiere schützt en Inhalt fir deen eng Firma bezuelt huet. Dat ass eng Entscheedung déi hält, an 2,2 % vun de Websäiten hu se ausdrécklech geholl.
D Dier virun den Äntwertmaschinnen zouzemaachen bréngt eng aner: Är Websäit hält op eng zitéierbar Quell ze sinn, genee an dem Moment wou Är Clientë hir Froen enger KI stellen amplaz enger Sichmaschinn. 3,1 % vun den erhuewene Websäite sinn an dësem Fall ouni datt se et wollten, duerch eng Reegel déi fir all Roboteren geschriwwe gouf, laang ier dës existéiert hunn.
Béid Entscheedunge gi an derselwechter Datei geholl, op dräi Zeilen. Et muss een se just kënne schreiwen.
Eng robots.txt gëtt vun der Maschinn geliwwert déi d Websäit liwwert. Wann dës Websäit op enger zouener Plattform lieft, ass et d Plattform déi se schreift, se op all hir Clientën op eemol uwennt a se aktualiséiert wa se et entscheet.
Mir hunn 2 500 vun den Dateie vun der Erhiewung nach eemol gelies fir ze kucken wéi eng d Ënnerschrëft vun engem Plattformmuster droen. D Tabell hei drënner weist wat all eenzel fir hir Clientën äntwert.
| Plattform | Websäiten an der Zéiung | Gruppe vu Reegelen |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Datei ouni Ënnerschrëft vun enger Plattform | 2.410 | 1 |
Squarespace liwwert hire Clientën eng Datei déi ronn drësseg Roboteren nennt, dorënner all déi aus der Tabell uewen, a refuséiert keen eenzegen. Shopify liwwert eng déi keen nennt. An deenen zwee Fäll ass d Äntwert déiselwecht fir Dausende vu Websäiten, an de Besëtzer vun enger dovunner huet dës Äntwert weder geschriwwen nach kann en se änneren.
Dat ënnerscheet eng Websäit déi ee besëtzt vun enger Websäit déi ee bewunnt. D Fro vun de KI-Roboteren ass a zwee Joer komm; déi nächst kënnt genee sou séier, a si gëtt op derselwechter Plaz geregelt, an enger Datei déi een fir Iech muss kënne schreiwen.
Serenity ass eng Websäit déi vu Simafri erstallt, gehost, geséchert an aktuell gehale gëtt, a déi zanter 2002 Firmewebsäiten erstellt, host a betreit. Den Domain-Numm gëtt op de Numm vum Client ageschriwwen, an e Simafri Suite-Kont ass abegraff.
Zéiungsrahmen: déi 4 590 553 aktiv .fr-Domainen aus dem oppenen Datefichier vun der Afnic Afnic, fichier des domaines .fr actifs. Doraus gëtt e Panel vu 15 000 Domainen gezunn, no dem sha256-Ofdrock vun all Numm geuerdent, wat jidderengem erlaabt datselwecht Panel aus dem publizéierte Som nei opzebauen. D Panel bleift vun enger Erhiewung op déi nächst datselwecht.
Lieskette: den 3. September 2026 hunn 10 301 vun dësen Domainen eng Säit geliwwert. Fir all eenzel gouf d Datei robots.txt an derselwechter Verbindung ugefrot. 98 % hunn eng festgeluechte Positioun zréckginn, also eng liesbar Datei oder eng Äntwert datt et keng gëtt, wat alles erlaabt. D Zuele bezéie sech op déi.
Wat als Refus zielt: e Robot ass refuséiert wann seng eege Grupp vu Reegelen him d Wuerzel vun der Websäit verbitt. Eng Grupp déi all Roboteren op eemol uschwätzt gëtt getrennt notéiert, well se d Crawlen am Allgemenge betrëfft a näischt iwwer KI seet. Eng Websäit där hir Plattform Roboteren an dëser allgemenger Grupp nennt, zielt also net als eng déi entscheet huet.
Wat net gelies gouf: näischt wat en Zougang zur Websäit, zu hirer Verwaltung oder zu hirem Hosting verlaangt. Eng Ufro fir d Säit, eng fir d Datei.
Räichwäit: d Panel zitt aus der Gesamtheet vun den aktiven .fr-Domainen, Firmen, Veräiner a Privatleit zesummen, ouni Qualifikatioun iwwer eng Firmennummer, am Ënnerscheed zu eisen zwou anere Erhiewungen. D Zuele beschreiwen also de franséische Bestand als Ganzt. D Liesung vun de Plattformen ëmfaasst 2 500 Websäiten, gezunn ënnert deenen déi eng Datei liwweren.
D Zuelen zum Bestand kommen aus engem ëffentlechen Index deen seng Method, säin datéiert Panel a seng wëchentlech Serie publizéiert, gelies den 3. September 2026. D Serie gëtt a JSON geliwwert, Robot fir Robot, a léisst sech nospillen.
Den Index a seng Method kucken (Stileex)
D Panel gëtt all Woch erhuewen, wat weist ob de Bestand sech an dëser Fro beweegt an a wéi enger Richtung.
Simafri ass zanter 2002 den technesche Verbündeten vun Ärer Firma: mir erstellen Är Websäit, hosten se, betreie se an halen se aktuell, mat Ärem Domain-Numm op Äre Numm ageschriwwen. Dir entscheet wien aus Äre Säite léiere duerf a wien se zitéiere duerf, mir maachen de Geste. Schreift eis, mir kucken Äre Fall zesummen un.
Simafri
Loosst eis iwwer Är Websäit schwätzen
Erzielt eis vun Ärem Projet a wéinege Wierder: mir mellen eis séier bei Iech.
Léiwer per E-Mail? Schreift eis op support@simafri.com.
De Formulaire weist sech net? Schreift eis direkt:
support@simafri.com