llms.txt on kutse tehisintellekti assistentidele: lühike fail veebisaidi juurkaustas, mis ütleb, kes te olete ja kust vaadata. See mõõtmine loeb kokku veebisaidid, mis on selle üles pannud, ja vaatab, mida nad samadele robotitele kõrvalolevas failis ütlevad.
llms.txt on Markdown-vormingus fail aadressil /llms.txt. See tutvustab veebisaiti mõne reaga ja osutab lehtedele, mis loevad, et tehisintellekti assistent saaks need otse läbi lugeda, selle asemel et kogu veebisaiti kokku panna. Vorming nõuab üht asja: esimese taseme pealkirja kõige ülal, ülejäänu on vaba.
See vastab uuele küsimusele. Otsimootor käib veebisaidi läbi lehekaupa ja järjestab leitu; assistent loeb kiiresti, tsiteerib vähe ja vajab, et talle öeldaks, kus on olemus. 7,9 % vastavatest .fr veebisaitidest on selles küsimuses juba seisukoha võtnud, kaks aastat pärast vormingu väljapakkumist.
See on selle mõõtmise lõks, ja see muudab kõike: paljud veebisaidid tagastavad iga tundmatu aadressi peale oma avalehe. Kui küsida sellisel veebisaidil /llms.txt, saab koodi 200 ja HTML-lehe, mitte kunagi llms.txt-faili. Loendus, mis peatub HTTP-koodi juures, liidab seega tabeli kaks esimest rida kokku ja avaldab viis korda liiga kõrge kasutuselevõtu.
| Mida veebisait vastab aadressil /llms.txt | Veebisaitide osakaal |
|---|---|
| Fail, mis algab Markdown-pealkirjaga | 7,9 % |
| Kood 200, aga midagi muud (enamasti avaleht) | 36,6 % |
| Vastus, et faili ei ole olemas | 55,5 % |
Mõõtmine loeb vastuse sisu ja arvestab llms.txt-failina ainult seda, mis algab esimese taseme pealkirjaga, ainsa elemendiga, mida vorming nõuab.
Veebisait, mis paneb üles llms.txt-faili, kutsub tehisintellekti assistente tulema ja lugema. Robots.txt-fail, kolme rea kaugusel, ütleb samadele robotitele, kas neil üldse on õigus siseneda. Mõlemat loetakse samal hommikul, samal domeenil.
Veebisaitidest, mis avaldavad llms.txt-faili, keelab 2,8 % mujal oma juure vähemalt ühele tehisintellekti robotile. Kogu .fr kogumis on see osakaal 2,2 %. Teisisõnu ei käi kutse ülespanek käsikäes ukse avamisega: kutsuvad veebisaidid keelavad veidi sagedamini kui teised.
Selles pole iseenesest midagi vasturääkivat: keelduda mudeli treenimisest ja soovida, et assistent teid hästi loeks, on kaks eraldi otsust, mis sobivad suurepäraselt kokku. Arv näitab, et neid kahte faili kirjutatakse harva koos, kuigi nad vastavad samale külastajale.
Mediaansuurus on 3 878 baiti ehk umbes neli kilobaiti: veebisaidi kaart, mitte selle koopia. See vastab sellele, mida vorming nõuab, ja just see teeb faili aja jooksul hallatavaks.
llms.txt on täpselt nii väärtuslik, kui värske see on. See nimetab lehti, ja leht, mis vahetab aadressi, jätab faili rea, mis ei vii enam kuhugi. Seda faili tuleb üle vaadata iga ümberkujundamise ajal, täpselt nagu saidikaarti.
Serenity on veebisait, mille Simafri loob, majutab, kaitseb ja hoiab ajakohasena ning mis on loonud, majutanud ja hooldanud ettevõtete veebisaite alates 2012. aastast. Domeeninimi registreeritakse kliendi nimele ja Simafri Suite konto kuulub juurde.
Valimi raamistik: Afnici avaandmete failis olevad 4 590 553 aktiivset .fr domeeni Afnic, fichier des domaines .fr actifs. Sellest loositakse 15 000 domeenist koosnev paneel, järjestatuna iga nime sha256 jälje järgi, mis lubab igaühel avaldatud seemnest sama paneel uuesti üles ehitada. Paneel jääb ühest mõõtmisest teise samaks, nii et liikumine seerias on kogumi enda otsus.
Lugemisahel: /llms.txt-faili küsitakse kord nädalas, samal läbimisel, mis juba avab iga paneeli domeeni. Arvud käivad veebisaitide kohta, mis küsimusele vastavad, see tähendab 98 % neist, kes lehte serveerivad: need, kes serveerivad faili, need, kes serveerivad midagi muud, ja need, kes vastavad, et faili pole olemas.
Mis loeb llms.txt-failiks: sisu, mis algab esimese taseme Markdown-pealkirjaga. Avaldatud suurus on serveeritud failide mediaan baitides. Robots.txt loetakse samal domeenil samal hommikul, ja tehisintellekti robot loetakse keelatuks, kui tema enda reeglirühm keelab talle juure.
Mida ei loetud: mitte midagi, mis nõuab ligipääsu veebisaidile, selle haldusele või majutusele. Üks päring lehele, üks iga faili jaoks.
Ulatus: paneel loositakse kõigi aktiivsete .fr domeenide seast, ettevõtted, ühendused ja eraisikud koos, ilma äriregistri numbri järgi valimata. Arvud kirjeldavad seega Prantsuse kogumit tervikuna, ja tehisintellekti robotit keelavate veebisaitide osakaal pärineb samast iganädalasest mõõtmisest.
Arvud tulevad avalikust indeksist, mis avaldab oma meetodi, dateeritud paneeli ja iganädalase seeria, loetud 4. septembril 2026. Seeriat serveeritakse JSON-vormingus ja seda saab uuesti läbi mängida.
Vaadake indeksit ja selle meetodit (Stileex)
Paneeli mõõdetakse igal nädalal, mis näitab, kui kiiresti kogum seda faili üles paneb ja kas need, kes selle üles panevad, avavad ka oma ukse.
Simafri on teie ettevõtte tehniline liitlane alates 2012. aastast: loome teie veebisaidi, majutame seda, hooldame ja hoiame ajakohasena, teie domeeninimi teie nimele registreeritud. Teie llms.txt ja robots.txt ütlevad seda, mida olete otsustanud, ja need vaadatakse üle, kui teie lehed liiguvad. Kirjutage meile, vaatame teie juhtumi koos üle.
Simafri
Räägime teie kavatsusest
Öelge meile paari sõnaga, mida vajate: vastame teile kiiresti.
Aitäh! Teie päring on saadetud. Võtame teiega peagi ühendust.
Eelistate e-posti? Kirjutage meile aadressil support@simafri.com.