Безплатен инструмент
Генератор на robots.txt
Решете кои роботи могат да четат Вашия сайт: търсачки, роботи за обучение на ИИ, търсене с ИИ и асистенти, които зареждат страници от името на потребител. Файлът се създава във Вашия браузър — към нас не се изпраща нищо.
Накратко
Файлът robots.txt е молба, а не ключалка. Големите търсачки и доставчици на ИИ публикуват имената на своите роботи и заявяват, че те спазват файла; скреперите и спам ботовете не са длъжни. Използвайте го, за да кажете на коректните роботи какво могат да четат, а всичко останало проверявайте на сървъра.
Начална точка
Кои роботи трябва да останат навън?
Отметнатите роботи получават Disallow: /. Всички останали следват правилата за всички роботи, включително пътищата по-долу.
Всеки ред започва с /, например /admin/ или /kolichka/. Знакът * замества произволни символи.
Пълният адрес на XML картата на Вашия сайт, започващ с https://.
Как да публикувате файла
- 1Изберете по-горе роботите и пътищата и копирайте резултата.
- 2Запазете го като обикновен текстов файл с име robots.txt (UTF-8).
- 3Качете го в основната директория на домейна си, така че да се отваря на https://vashiyat-domeyn/robots.txt. Всеки поддомейн се нуждае от собствен файл.
- 4Отворете адреса в браузъра и проверете дали се показва точно този текст. Ако хостингът или CDN добавят собствени правила, ще ги видите и там.
Какво не може robots.txt
- Не защитава нищо. Всеки може да отвори блокиран път, а файлът е публичен: в него дори са изброени пътищата, които бихте предпочели да скриете.
- Не спира ботовете, които го пренебрегват — а именно от тях идват спамът във формулярите и автоматичните регистрации.
- Блокирана страница все пак може да се появи в резултатите от търсене, ако други сайтове водят към нея. За да държите страница извън индекса, разрешете обхождането и използвайте noindex.
Често задавани въпроси
Блокира ли robots.txt ботовете?
Не. Той е молба, която коректните роботи спазват. Скреперите, спам ботовете и много автоматизирани инструменти я пренебрегват. За да ги спрете, е нужна проверка на сървъра, например ограничаване на заявките или защита на формулярите от ботове.
Ако блокирам GPTBot, изчезва ли сайтът ми от ChatGPT?
Не непременно. OpenAI използва отделни имена: GPTBot за обучение, OAI-SearchBot за търсенето в ChatGPT и ChatGPT-User, когато потребител пита за страница. Блокирането на едното не засяга другите. Anthropic и Perplexity също използват отделни имена за тези цели.
Влияе ли блокирането на Google-Extended на позицията ми в Google?
Според Google не. Google-Extended само определя дали съдържание, обходено от Googlebot, може да се използва за моделите Gemini. Обхождането и класирането в Google Търсене остават същите.
Къде трябва да се намира файлът?
В основната директория на хоста, на /robots.txt — например https://example.com/robots.txt. Файл в подпапка се пренебрегва, а всеки поддомейн се нуждае от собствен.
Какво е редът Content-Signal?
Предложение, публикувано на contentsignals.org, за посочване как може да се използва съдържанието след обхождане: за резултати от търсене, като входни данни за отговори на ИИ или за обучение на ИИ. Той изразява Вашето желание; дали роботът ще го зачете, решава неговият оператор.
Изпращат ли се някъде въведените от мен данни?
Не. Генераторът работи изцяло във Вашия браузър. Нищо от въведеното от Вас не се предава и не се съхранява.
Когато ботовете пренебрегват Вашия robots.txt
SilentShield оценява на сървъра изпращанията от Вашите формуляри според поведението, което е довело до тях — по подразбиране без задача за посетителите Ви.