Ρομπότ ΤΝ και γαλλικοί ιστότοποι: ποιος αποφασίζει την απάντηση

Πριν διαβάσει μια σελίδα, ένα ρομπότ ΤΝ διαβάζει ένα αρχείο που λέει τι δικαιούται να κάνει με αυτήν. Το αρχείο αυτό υπάρχει στους περισσότερους ιστότοπους. Αυτή η μέτρηση κοιτάζει τι απαντά, και κυρίως ποιος το έγραψε.

Δημοσιεύτηκε στις 3 Σεπτεμβρίου 2026 10 301 ιστότοποι .fr, μετρημένοι στις 3 Σεπτεμβρίου 2026

97 %των ιστότοπων δεν κατονομάζουν κανένα ρομπότ ΤΝ στο robots.txt τους
2,2 %αρνούνται τουλάχιστον ένα, κατονομάζοντάς το
3,1 %κλείνουν τη ρίζα τους σε όλα τα ρομπότ, μηχανές αναζήτησης συμπεριλαμβανομένων

Το αρχείο βρίσκεται ήδη εκεί, απλώς μιλάει σε κάποιον άλλον

Το 85,3 % των ιστότοπων που μετρήθηκαν δημοσιεύει robots.txt. Το αρχείο αυτό έχει ιστορία: γράφτηκε για τις μηχανές αναζήτησης, σε μια εποχή που το ερώτημα ήταν ποιες σελίδες θα ευρετηριάζονταν. Τα μισά από αυτά τα αρχεία χωρούν σε μία μόνο ομάδα οδηγιών, και η ομάδα αυτή απευθύνεται σε όλους μαζί.

Τα ρομπότ ΤΝ διαβάζουν το ίδιο αρχείο και ψάχνουν μέσα του το δικό τους όνομα. Δεν το βρίσκουν στο 97 % των ιστότοπων. Δεν πρόκειται για άρνηση ούτε για μελετημένη άδεια: πρόκειται για ερώτημα που δεν έχει ακόμη τεθεί, σε ένα αρχείο δέκα χρόνια παλαιότερο από αυτό.

Τι αρνείται το σύνολο, ρομπότ προς ρομπότ

Κάθε ρομπότ έχει τη δική του ομάδα σε ένα robots.txt, άρα ένας ιστότοπος απαντά χωριστά στην OpenAI, στην Google και στο Common Crawl. Ο πίνακας διαβάζει αυτές τις απαντήσεις μία προς μία.

Ρομπότ Λειτουργεί από Τι κάνει με τη σελίδα Ιστότοποι που το αρνούνται
CCBot Common Crawl Εκπαιδεύει μοντέλο 2,0 %
GPTBot OpenAI Εκπαιδεύει μοντέλο 2,0 %
Bytespider ByteDance Εκπαιδεύει μοντέλο 1,8 %
ClaudeBot Anthropic Εκπαιδεύει μοντέλο 1,8 %
Google-Extended Google Εκπαιδεύει μοντέλο 1,8 %
Meta-ExternalAgent Meta Εκπαιδεύει μοντέλο 1,7 %
Applebot-Extended Apple Εκπαιδεύει μοντέλο 1,6 %
ChatGPT-User OpenAI Πηγαίνει να διαβάσει τη σελίδα όταν κάποιος ρωτά 0,3 %
PerplexityBot Perplexity Τροφοδοτεί μηχανή απαντήσεων 0,1 %
OAI-SearchBot OpenAI Τροφοδοτεί μηχανή απαντήσεων 0,1 %

Η διαφορά είναι καθαρή και στέκει μόνη της: τα ρομπότ που εκπαιδεύουν μοντέλα απορρίπτονται γύρω στο 2 %, εκείνα που φέρνουν μια σελίδα για να απαντήσουν σε ερώτηση είκοσι φορές λιγότερο. Το γαλλικό σύνολο δέχεται να το παραπέμπουν και αρνείται να το μαθαίνουν.

Οι δύο αποφάσεις δεν είναι η ίδια

Η άρνηση της εκπαίδευσης προστατεύει περιεχόμενο που μια επιχείρηση πλήρωσε για να παραχθεί. Είναι απόφαση που στέκει, και το 2,2 % των ιστότοπων την πήρε ρητά.

Το κλείσιμο της πόρτας στις μηχανές απαντήσεων γεννά μια άλλη: ο ιστότοπός σας παύει να είναι πηγή που μπορεί να παραπεμφθεί ακριβώς τη στιγμή που οι πελάτες σας θέτουν τις ερωτήσεις τους σε μια ΤΝ αντί σε μηχανή αναζήτησης. Το 3,1 % των ιστότοπων που μετρήθηκαν βρίσκεται σε αυτή τη θέση χωρίς να το θέλησε, εξαιτίας οδηγίας γραμμένης για όλα τα ρομπότ πολύ πριν αυτά υπάρξουν.

Και οι δύο αποφάσεις παίρνονται στο ίδιο αρχείο, σε τρεις γραμμές. Μένει να μπορείς να το γράψεις.

Σε μια κλειστή πλατφόρμα, το αρχείο αυτό δεν είναι δικό σας

Ένα robots.txt το σερβίρει η μηχανή που σερβίρει τον ιστότοπο. Όταν ο ιστότοπος ζει σε κλειστή πλατφόρμα, η πλατφόρμα το συντάσσει, το εφαρμόζει σε όλους τους πελάτες της μαζί και το ενημερώνει όταν το αποφασίσει εκείνη.

Ξαναδιαβάσαμε 2 500 από τα αρχεία της μέτρησης για να δούμε ποια έφεραν την υπογραφή ενός προτύπου πλατφόρμας. Ο παρακάτω πίνακας δίνει τι απαντά καθεμία για τους πελάτες της.

Πλατφόρμα Ιστότοποι του δείγματος Ομάδες οδηγιών
Shopify 57 2
WordPress.com 13 1
Squarespace 11 30
Wix 3 0
Webflow 1 0
Αρχείο χωρίς υπογραφή πλατφόρμας 2.410 1

Η Squarespace σερβίρει στους πελάτες της ένα αρχείο που κατονομάζει καμιά τριανταριά ρομπότ, ανάμεσά τους όλα του παραπάνω πίνακα, και δεν αρνείται κανένα. Η Shopify σερβίρει ένα που δεν κατονομάζει κανένα. Και στις δύο περιπτώσεις η απάντηση είναι η ίδια για χιλιάδες ιστότοπους, και ο ιδιοκτήτης ενός από αυτούς ούτε έγραψε αυτή την απάντηση ούτε έχει τρόπο να την αλλάξει.

Αυτό ξεχωρίζει τον ιστότοπο που κατέχεις από τον ιστότοπο που κατοικείς. Το ζήτημα των ρομπότ ΤΝ ήρθε μέσα σε δύο χρόνια. Το επόμενο θα έρθει εξίσου γρήγορα, και θα λυθεί στο ίδιο σημείο, σε ένα αρχείο που κάποιος πρέπει να μπορεί να γράψει για εσάς.

Το Serenity, με λίγα λόγια

Το Serenity είναι ιστότοπος που δημιουργείται, φιλοξενείται, ασφαλίζεται και κρατιέται ενημερωμένος από τη Simafri, η οποία δημιουργεί, φιλοξενεί και συντηρεί ιστότοπους επιχειρήσεων από το 2002. Το όνομα τομέα καταχωρείται στο όνομα του πελάτη, και λογαριασμός Simafri Suite περιλαμβάνεται.

Δείτε την προσφορά και τις τιμές

Μέθοδος

Πλαίσιο κλήρωσης: τα 4 590 553 ενεργά ονόματα τομέα .fr του ανοιχτού αρχείου δεδομένων της Afnic Afnic, fichier des domaines .fr actifs. Από αυτό κληρώνεται δείγμα 15 000 ονομάτων τομέα, ταξινομημένων κατά το αποτύπωμα sha256 κάθε ονόματος, πράγμα που επιτρέπει στον καθένα να ξαναχτίσει το ίδιο δείγμα από τον δημοσιευμένο σπόρο. Το δείγμα μένει το ίδιο από μέτρηση σε μέτρηση.

Αλυσίδα ανάγνωσης: στις 3 Σεπτεμβρίου 2026, 10 301 από αυτά τα ονόματα τομέα σέρβιραν σελίδα. Για καθένα, το αρχείο robots.txt ζητήθηκε στην ίδια συνομιλία. Το 98 % επέστρεψε καθορισμένη πολιτική, δηλαδή αναγνώσιμο αρχείο ή απάντηση ότι δεν υπάρχει, πράγμα που επιτρέπει τα πάντα. Τα νούμερα αφορούν αυτούς.

Τι μετράει ως άρνηση: ένα ρομπότ είναι απορριπτόμενο όταν η δική του ομάδα οδηγιών του απαγορεύει τη ρίζα του ιστότοπου. Ομάδα που απευθύνεται σε όλα τα ρομπότ μαζί καταγράφεται χωριστά, γιατί αφορά τη σάρωση γενικά και δεν λέει τίποτα για την ΤΝ. Ιστότοπος του οποίου η πλατφόρμα κατονομάζει ρομπότ μέσα σε αυτή τη γενική ομάδα δεν μετράει επομένως ως ιστότοπος που πήρε απόφαση.

Τι δεν διαβάστηκε: τίποτα που να απαιτεί πρόσβαση στον ιστότοπο, στη διαχείρισή του ή στη φιλοξενία του. Ένα αίτημα για τη σελίδα, ένα για το αρχείο.

Εμβέλεια: το δείγμα κληρώνεται από το σύνολο των ενεργών ονομάτων τομέα .fr, επιχειρήσεις, σωματεία και ιδιώτες μαζί, χωρίς επιλογή βάσει αριθμού επιχείρησης, σε αντίθεση με τις δύο άλλες μετρήσεις μας. Τα νούμερα περιγράφουν λοιπόν το γαλλικό σύνολο ως όλον. Η ανάγνωση των πλατφορμών αφορά 2 500 ιστότοπους κληρωμένους ανάμεσα σε εκείνους που σερβίρουν αρχείο.

Πηγή και επαναχρησιμοποίηση

Τα νούμερα του συνόλου προέρχονται από δημόσιο δείκτη που δημοσιεύει τη μέθοδό του, το χρονολογημένο δείγμα του και την εβδομαδιαία σειρά του, με ανάγνωση στις 3 Σεπτεμβρίου 2026. Η σειρά σερβίρεται σε JSON, ρομπότ προς ρομπότ, και ξαναπαίζεται.

Δείτε τον δείκτη και τη μέθοδό του (Stileex)

JSON API

Το δείγμα μετριέται κάθε εβδομάδα, πράγμα που θα δείξει αν το σύνολο κινείται σε αυτό το ζήτημα και προς ποια κατεύθυνση.

Πάρτε πίσω την απόφαση για το τι απαντά ο ιστότοπός σας

Η Simafri είναι ο τεχνικός σύμμαχος της επιχείρησής σας από το 2002: φτιάχνουμε τον ιστότοπό σας, τον φιλοξενούμε, τον συντηρούμε και τον κρατάμε ενημερωμένο, με το όνομα τομέα καταχωρημένο στο όνομά σας. Εσείς αποφασίζετε ποιος μπορεί να μαθαίνει από τις σελίδες σας και ποιος μπορεί να τις παραπέμπει, εμείς κάνουμε την κίνηση. Γράψτε μας, θα δούμε μαζί την περίπτωσή σας.