Преди да прочете страница, роботът на ИИ чете файл, който казва какво има право да прави с нея. Този файл съществува на повечето сайтове. Това измерване гледа какво отговаря той и преди всичко кой го е написал.
85,3 % от измерените сайтове публикуват robots.txt. Този файл има история: написан е за търсачките, във време, когато въпросът беше кои страници ще бъдат индексирани. Половината от тези файлове се побират в една-единствена група правила, а тази група се обръща към всички наведнъж.
Роботите на ИИ четат същия файл и търсят в него собственото си име. Не го намират на 97 % от сайтовете. Това не е отказ, нито обмислено разрешение: това е въпрос, който още не е зададен, във файл, който е с десет години по-стар от него.
Всеки робот има собствена група в robots.txt, така че сайтът отговаря поотделно на OpenAI, на Google и на Common Crawl. Таблицата чете тези отговори един по един.
| Робот | Управляван от | Какво прави със страницата | Сайтове, които го отказват |
|---|---|---|---|
| CCBot | Common Crawl | Обучава модел | 2,0 % |
| GPTBot | OpenAI | Обучава модел | 2,0 % |
| Bytespider | ByteDance | Обучава модел | 1,8 % |
| ClaudeBot | Anthropic | Обучава модел | 1,8 % |
| Google-Extended | Обучава модел | 1,8 % | |
| Meta-ExternalAgent | Meta | Обучава модел | 1,7 % |
| Applebot-Extended | Apple | Обучава модел | 1,6 % |
| ChatGPT-User | OpenAI | Отива да прочете страницата, когато някой зададе въпрос | 0,3 % |
| PerplexityBot | Perplexity | Захранва машина за отговори | 0,1 % |
| OAI-SearchBot | OpenAI | Захранва машина за отговори | 0,1 % |
Разликата е ясна и се държи сама: роботите, които обучават модели, са отказвани от около 2 %, тези, които вземат страница, за да отговорят на въпрос, двадесет пъти по-малко. Френският парк приема да бъде цитиран и отказва да бъде научен.
Отказът от обучение защитава съдържание, за чието създаване една фирма е платила. Това е защитимо решение и 2,2 % от сайтовете са го взели изрично.
Затварянето на вратата пред машините за отговори поражда друго: вашият сайт престава да бъде цитируем източник точно в мига, в който вашите клиенти задават въпросите си на ИИ вместо на търсачка. 3,1 % от измерените сайтове са в това положение, без да са го искали, заради правило, написано за всички роботи много преди тези да съществуват.
Двете решения се вземат в същия файл, на три реда. Остава да можеш да го напишеш.
Robots.txt се сервира от машината, която сервира сайта. Когато сайтът живее на затворена платформа, платформата е тази, която го пише, прилага го към всички свои клиенти наведнъж и го обновява, когато тя реши.
Прочетохме отново 2 500 от файловете на измерването, за да видим кои носят подписа на платформен шаблон. Таблицата по-долу дава какво отговаря всяка от тях за своите клиенти.
| Платформа | Сайтове в извадката | Групи правила |
|---|---|---|
| Shopify | 57 | 2 |
| WordPress.com | 13 | 1 |
| Squarespace | 11 | 30 |
| Wix | 3 | 0 |
| Webflow | 1 | 0 |
| Файл без подпис на платформа | 2410 | 1 |
Squarespace сервира на клиентите си файл, който назовава около тридесет робота, сред тях всички от таблицата по-горе, и не отказва нито един. Shopify сервира такъв, който не назовава нито един. И в двата случая отговорът е един и същ за хиляди сайтове, а собственикът на един от тях нито е написал този отговор, нито има как да го промени.
Това отличава сайт, който притежаваш, от сайт, който обитаваш. Въпросът за роботите на ИИ дойде за две години; следващият ще дойде също толкова бързо и ще се реши на същото място, във файл, който някой трябва да може да напише вместо вас.
Serenity е уебсайт, създаден, хостван, защитен и поддържан актуален от Simafri, която създава, хоства и поддържа сайтове на фирми от 2002 г. Името на домейна се регистрира на името на клиента, а акаунт Simafri Suite е включен.
Рамка на извадката: 4 590 553 активни домейна .fr от отворения файл с данни на Afnic Afnic, fichier des domaines .fr actifs. От нея се изтегля панел от 15 000 домейна, подредени по отпечатъка sha256 на всяко име, което позволява на всеки да построи същия панел от публикуваното семе. Панелът остава същият от едно измерване до следващото.
Верига на четене: на 3 септември 2026 г. 10 301 от тези домейни сервираха страница. За всеки от тях файлът robots.txt беше поискан в същия разговор. 98 % върнаха установена политика, тоест четим файл или отговор, че такъв няма, което разрешава всичко. Числата се отнасят за тях.
Какво се брои за отказ: роботът е отказан, когато неговата собствена група правила му забранява корена на сайта. Група, която се обръща към всички роботи наведнъж, се записва отделно, защото се отнася до обхождането изобщо и не казва нищо за ИИ. Сайт, чиято платформа назовава роботи вътре в тази обща група, следователно не се брои за взел решение.
Какво не беше четено: нищо, което изисква достъп до сайта, до неговата администрация или до неговия хостинг. Една заявка за страницата, една за файла.
Обхват: панелът тегли от всички активни домейни .fr, фирми, сдружения и частни лица заедно, без определяне по фирмен номер, за разлика от другите ни две измервания. Числата описват следователно френския парк като цяло. Четенето на платформите обхваща 2 500 сайта, изтеглени измежду тези, които сервират файл.
Числата за парка идват от публичен индекс, който публикува своя метод, датирания си панел и седмичната си редица, прочетен на 3 септември 2026 г. Редицата се сервира в JSON, робот по робот, и може да бъде преиграна.
Вижте индекса и метода му (Stileex)
Панелът се измерва всяка седмица, което ще каже дали паркът се движи по този въпрос и в каква посока.
Simafri е техническият съюзник на вашата фирма от 2002 г.: създаваме вашия сайт, хостваме го, поддържаме го и го държим актуален, с вашето име на домейн, регистрирано на ваше име. Вие решавате кой може да се учи от вашите страници и кой може да ги цитира, ние правим жеста. Пишете ни, ще погледнем случая ви заедно.
Simafri
Да поговорим за Вашия проект
Кажете ни с няколко думи от какво имате нужда: отговаряме Ви бързо.
Предпочитате имейл? Пишете ни на support@simafri.com.
Формулярът не се показва? Пишете ни направо:
support@simafri.com