Bezpłatne narzędzie
Generator robots.txt
Proszę zdecydować, które crawlery mogą czytać Państwa witrynę: wyszukiwarki, crawlery trenujące AI, wyszukiwanie AI oraz asystenci pobierający strony w imieniu użytkownika. Plik powstaje w przeglądarce — nic nie jest do nas wysyłane.
W skrócie
Plik robots.txt to prośba, a nie zamek. Duże wyszukiwarki i dostawcy AI publikują nazwy swoich crawlerów i deklarują, że przestrzegają tego pliku; scrapery i boty spamowe nie mają takiego obowiązku. Proszę używać go, aby wskazać uczciwym crawlerom, co mogą czytać, a całą resztę sprawdzać na serwerze.
Punkt wyjścia
Które crawlery mają zostać na zewnątrz?
Zaznaczone crawlery otrzymują Disallow: /. Wszystkie pozostałe stosują reguły dla wszystkich crawlerów, łącznie ze ścieżkami poniżej.
Każdy wiersz zaczyna się od /, na przykład /admin/ lub /koszyk/. Znak * oznacza dowolne znaki.
Pełny adres mapy witryny XML, zaczynający się od https://.
Jak opublikować plik
- 1Proszę wybrać powyżej crawlery i ścieżki, a następnie skopiować wynik.
- 2Proszę zapisać go jako zwykły plik tekstowy o nazwie robots.txt (UTF-8).
- 3Proszę przesłać go do katalogu głównego domeny, tak aby otwierał się pod adresem https://adres-domeny/robots.txt. Każda subdomena potrzebuje własnego pliku.
- 4Proszę otworzyć ten adres w przeglądarce i sprawdzić, czy wyświetla się dokładnie ten tekst. Jeśli hosting lub CDN dodaje własne reguły, będą tam również widoczne.
Czego robots.txt nie potrafi
- Niczego nie chroni. Każdy nadal może otworzyć zablokowaną ścieżkę, a plik jest publiczny: wymienia nawet ścieżki, które wolałby Państwo ukryć.
- Nie zatrzymuje botów, które go ignorują — a właśnie od nich pochodzi spam w formularzach i automatyczne rejestracje.
- Zablokowana strona może mimo to pojawić się w wynikach wyszukiwania, jeśli inne witryny do niej linkują. Aby wykluczyć stronę z indeksu, proszę zezwolić na jej pobieranie i użyć noindex.
Często zadawane pytania
Czy robots.txt blokuje boty?
Nie. To prośba, której przestrzegają uczciwe crawlery. Scrapery, boty spamowe i wiele zautomatyzowanych narzędzi ją ignoruje. Aby je zatrzymać, potrzebna jest kontrola na serwerze, na przykład limity żądań lub ochrona formularzy przed botami.
Czy po zablokowaniu GPTBot moja witryna zniknie z ChatGPT?
Niekoniecznie. OpenAI używa osobnych nazw: GPTBot do trenowania, OAI-SearchBot do wyszukiwania w ChatGPT i ChatGPT-User, gdy użytkownik pyta o stronę. Zablokowanie jednego nie wpływa na pozostałe. Również Anthropic i Perplexity używają do tych celów osobnych nazw.
Czy zablokowanie Google-Extended wpływa na moją pozycję w Google?
Według Google nie. Google-Extended określa jedynie, czy treści pobrane przez Googlebot mogą być wykorzystywane w modelach Gemini. Indeksowanie i pozycja w wyszukiwarce Google pozostają bez zmian.
Gdzie musi znajdować się plik?
W katalogu głównym hosta, pod /robots.txt — na przykład https://example.com/robots.txt. Plik w podfolderze jest ignorowany, a każda subdomena potrzebuje własnego.
Czym jest wiersz Content-Signal?
Propozycją opublikowaną na contentsignals.org, która pozwala określić, jak można wykorzystywać treści po ich pobraniu: do wyników wyszukiwania, jako dane wejściowe dla odpowiedzi AI lub do trenowania AI. Wyraża Państwa życzenie; o tym, czy crawler je uszanuje, decyduje jego operator.
Czy wprowadzone dane są gdzieś wysyłane?
Nie. Generator działa w całości w przeglądarce. Nic z tego, co Państwo wpiszą, nie jest przesyłane ani zapisywane.
Gdy boty ignorują Państwa robots.txt
SilentShield ocenia na serwerze zgłoszenia z Państwa formularzy na podstawie zachowania, które do nich doprowadziło — domyślnie bez żadnego zadania dla odwiedzających.