Oferta dla nowych klientów−20 %20 % zniżki przez pierwsze 3 miesiące przy płatności miesięcznejZobacz plany
SilentShield

Bezpłatne narzędzie

Generator robots.txt

Proszę zdecydować, które crawlery mogą czytać Państwa witrynę: wyszukiwarki, crawlery trenujące AI, wyszukiwanie AI oraz asystenci pobierający strony w imieniu użytkownika. Plik powstaje w przeglądarce — nic nie jest do nas wysyłane.

W skrócie

Plik robots.txt to prośba, a nie zamek. Duże wyszukiwarki i dostawcy AI publikują nazwy swoich crawlerów i deklarują, że przestrzegają tego pliku; scrapery i boty spamowe nie mają takiego obowiązku. Proszę używać go, aby wskazać uczciwym crawlerom, co mogą czytać, a całą resztę sprawdzać na serwerze.

Punkt wyjścia

Które crawlery mają zostać na zewnątrz?

Zaznaczone crawlery otrzymują Disallow: /. Wszystkie pozostałe stosują reguły dla wszystkich crawlerów, łącznie ze ścieżkami poniżej.

Wyszukiwarki

Indeksują Państwa strony na potrzeby klasycznego wyszukiwania. Ich zablokowanie usuwa witrynę z ich wyników.

Trenowanie AI i zbieranie danych

Zbierają treści do trenowania modeli AI. Google-Extended i Applebot-Extended nie są osobnymi crawlerami: określają jedynie, czy Google i Apple mogą wykorzystywać pobrane treści w swoich modelach AI. Wyszukiwanie pozostaje bez zmian.

Wyszukiwanie AI

Indeksują strony, aby wyszukiwanie AI mogło je pokazywać i cytować jako źródło.

Asystenci działający dla użytkownika

Pobierają stronę, gdy ktoś pyta o nią asystenta. Niektórzy dostawcy informują, że reguły robots.txt mogą nie obowiązywać tych żądań.

Każdy wiersz zaczyna się od /, na przykład /admin/ lub /koszyk/. Znak * oznacza dowolne znaki.

Pełny adres mapy witryny XML, zaczynający się od https://.

Sygnały treści (opcjonalnie)

Wiersz Content-Signal (contentsignals.org) określa, jak można wykorzystywać treści po ich pobraniu. Nie każdy crawler go odczytuje.

Jak opublikować plik

  1. 1Proszę wybrać powyżej crawlery i ścieżki, a następnie skopiować wynik.
  2. 2Proszę zapisać go jako zwykły plik tekstowy o nazwie robots.txt (UTF-8).
  3. 3Proszę przesłać go do katalogu głównego domeny, tak aby otwierał się pod adresem https://adres-domeny/robots.txt. Każda subdomena potrzebuje własnego pliku.
  4. 4Proszę otworzyć ten adres w przeglądarce i sprawdzić, czy wyświetla się dokładnie ten tekst. Jeśli hosting lub CDN dodaje własne reguły, będą tam również widoczne.

Czego robots.txt nie potrafi

  • Niczego nie chroni. Każdy nadal może otworzyć zablokowaną ścieżkę, a plik jest publiczny: wymienia nawet ścieżki, które wolałby Państwo ukryć.
  • Nie zatrzymuje botów, które go ignorują — a właśnie od nich pochodzi spam w formularzach i automatyczne rejestracje.
  • Zablokowana strona może mimo to pojawić się w wynikach wyszukiwania, jeśli inne witryny do niej linkują. Aby wykluczyć stronę z indeksu, proszę zezwolić na jej pobieranie i użyć noindex.

Często zadawane pytania

Czy robots.txt blokuje boty?

Nie. To prośba, której przestrzegają uczciwe crawlery. Scrapery, boty spamowe i wiele zautomatyzowanych narzędzi ją ignoruje. Aby je zatrzymać, potrzebna jest kontrola na serwerze, na przykład limity żądań lub ochrona formularzy przed botami.

Czy po zablokowaniu GPTBot moja witryna zniknie z ChatGPT?

Niekoniecznie. OpenAI używa osobnych nazw: GPTBot do trenowania, OAI-SearchBot do wyszukiwania w ChatGPT i ChatGPT-User, gdy użytkownik pyta o stronę. Zablokowanie jednego nie wpływa na pozostałe. Również Anthropic i Perplexity używają do tych celów osobnych nazw.

Czy zablokowanie Google-Extended wpływa na moją pozycję w Google?

Według Google nie. Google-Extended określa jedynie, czy treści pobrane przez Googlebot mogą być wykorzystywane w modelach Gemini. Indeksowanie i pozycja w wyszukiwarce Google pozostają bez zmian.

Gdzie musi znajdować się plik?

W katalogu głównym hosta, pod /robots.txt — na przykład https://example.com/robots.txt. Plik w podfolderze jest ignorowany, a każda subdomena potrzebuje własnego.

Czym jest wiersz Content-Signal?

Propozycją opublikowaną na contentsignals.org, która pozwala określić, jak można wykorzystywać treści po ich pobraniu: do wyników wyszukiwania, jako dane wejściowe dla odpowiedzi AI lub do trenowania AI. Wyraża Państwa życzenie; o tym, czy crawler je uszanuje, decyduje jego operator.

Czy wprowadzone dane są gdzieś wysyłane?

Nie. Generator działa w całości w przeglądarce. Nic z tego, co Państwo wpiszą, nie jest przesyłane ani zapisywane.

Gdy boty ignorują Państwa robots.txt

SilentShield ocenia na serwerze zgłoszenia z Państwa formularzy na podstawie zachowania, które do nich doprowadziło — domyślnie bez żadnego zadania dla odwiedzających.