Δωρεάν εργαλείο
Δημιουργός robots.txt
Αποφασίστε ποιοι ανιχνευτές μπορούν να διαβάζουν τον ιστότοπό σας: μηχανές αναζήτησης, ανιχνευτές εκπαίδευσης ΤΝ, αναζήτηση με ΤΝ και βοηθοί που ανακτούν σελίδες για λογαριασμό ενός χρήστη. Το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σας — τίποτα δεν αποστέλλεται σε εμάς.
Με λίγα λόγια
Το robots.txt είναι παράκληση, όχι κλειδαριά. Οι μεγάλες μηχανές αναζήτησης και οι πάροχοι ΤΝ δημοσιεύουν τα ονόματα των ανιχνευτών τους και δηλώνουν ότι τηρούν το αρχείο· τα εργαλεία απόξεσης και τα bots ανεπιθύμητων μηνυμάτων δεν είναι υποχρεωμένα. Χρησιμοποιήστε το για να πείτε στους ευγενικούς ανιχνευτές τι μπορούν να διαβάζουν και ελέγξτε όλα τα υπόλοιπα στον διακομιστή.
Σημείο εκκίνησης
Ποιοι ανιχνευτές πρέπει να μείνουν έξω;
Οι επιλεγμένοι ανιχνευτές λαμβάνουν Disallow: /. Όλοι οι άλλοι ακολουθούν τους κανόνες για όλους τους ανιχνευτές, μαζί με τις διαδρομές παρακάτω.
Κάθε γραμμή αρχίζει με /, για παράδειγμα /admin/ ή /kalathi/. Το * αντιστοιχεί σε οποιουσδήποτε χαρακτήρες.
Η πλήρης διεύθυνση του χάρτη ιστότοπου XML, που αρχίζει με https://.
Πώς δημοσιεύετε το αρχείο
- 1Επιλέξτε παραπάνω ανιχνευτές και διαδρομές και αντιγράψτε το αποτέλεσμα.
- 2Αποθηκεύστε το ως απλό αρχείο κειμένου με το όνομα robots.txt (UTF-8).
- 3Ανεβάστε το στη ρίζα του τομέα σας, ώστε να ανοίγει στη διεύθυνση https://o-tomeas-sas/robots.txt. Κάθε υποτομέας χρειάζεται το δικό του αρχείο.
- 4Ανοίξτε τη διεύθυνση στο πρόγραμμα περιήγησης και ελέγξτε ότι εμφανίζεται ακριβώς αυτό το κείμενο. Αν ο πάροχος φιλοξενίας ή το CDN σας προσθέτει δικούς του κανόνες, θα τους δείτε κι εκεί.
Τι δεν μπορεί να κάνει το robots.txt
- Δεν προστατεύει τίποτα. Οποιοσδήποτε μπορεί να ανοίξει μια αποκλεισμένη διαδρομή, και το αρχείο είναι δημόσιο: απαριθμεί μάλιστα τις διαδρομές που θα προτιμούσατε να κρύψετε.
- Δεν σταματά τα bots που το αγνοούν — και ακριβώς από αυτά προέρχονται τα ανεπιθύμητα μηνύματα στις φόρμες και οι αυτοματοποιημένες εγγραφές.
- Μια αποκλεισμένη σελίδα μπορεί παρ' όλα αυτά να εμφανιστεί στα αποτελέσματα αναζήτησης, αν άλλοι ιστότοποι παραπέμπουν σε αυτήν. Για να μείνει μια σελίδα εκτός ευρετηρίου, επιτρέψτε την ανίχνευση και χρησιμοποιήστε noindex.
Συχνές ερωτήσεις
Αποκλείει το robots.txt τα bots;
Όχι. Είναι μια παράκληση που τηρούν οι ευγενικοί ανιχνευτές. Τα εργαλεία απόξεσης, τα bots ανεπιθύμητων μηνυμάτων και πολλά αυτοματοποιημένα εργαλεία την αγνοούν. Για να σταματήσουν, χρειάζεται έλεγχος στον διακομιστή, για παράδειγμα όρια αιτημάτων ή προστασία των φορμών σας από bots.
Αν αποκλείσω το GPTBot, εξαφανίζεται ο ιστότοπός μου από το ChatGPT;
Όχι απαραίτητα. Η OpenAI χρησιμοποιεί ξεχωριστά ονόματα: GPTBot για την εκπαίδευση, OAI-SearchBot για την αναζήτηση στο ChatGPT και ChatGPT-User όταν ένας χρήστης ρωτά για μια σελίδα. Ο αποκλεισμός του ενός δεν επηρεάζει τα άλλα. Και η Anthropic και η Perplexity χρησιμοποιούν ξεχωριστά ονόματα για αυτούς τους σκοπούς.
Επηρεάζει ο αποκλεισμός του Google-Extended τη θέση μου στη Google;
Σύμφωνα με τη Google, όχι. Το Google-Extended καθορίζει μόνο αν το περιεχόμενο που ανίχνευσε το Googlebot μπορεί να χρησιμοποιηθεί για τα μοντέλα Gemini. Η ανίχνευση και η κατάταξη στην Αναζήτηση Google μένουν ίδιες.
Πού πρέπει να βρίσκεται το αρχείο;
Στη ρίζα του διακομιστή, στο /robots.txt — για παράδειγμα https://example.com/robots.txt. Ένα αρχείο σε υποφάκελο αγνοείται, και κάθε υποτομέας χρειάζεται το δικό του.
Τι είναι η γραμμή Content-Signal;
Μια πρόταση που δημοσιεύεται στο contentsignals.org για να δηλώνετε πώς επιτρέπεται να χρησιμοποιηθεί το περιεχόμενο αφού ανιχνευθεί: για αποτελέσματα αναζήτησης, ως είσοδος για απαντήσεις ΤΝ ή για εκπαίδευση ΤΝ. Εκφράζει την επιθυμία σας· αν ένας ανιχνευτής τη σέβεται, το αποφασίζει ο διαχειριστής του.
Αποστέλλονται κάπου τα στοιχεία που εισάγω;
Όχι. Ο δημιουργός λειτουργεί εξ ολοκλήρου στο πρόγραμμα περιήγησής σας. Τίποτα από όσα εισάγετε δεν μεταδίδεται ούτε αποθηκεύεται.
Όταν τα bots αγνοούν το robots.txt σας
Το SilentShield αξιολογεί στον διακομιστή τις υποβολές των φορμών σας με βάση τη συμπεριφορά που προηγήθηκε — από προεπιλογή χωρίς καμία εργασία για τους επισκέπτες σας.