Akce pro nové zákazníky−20 %Sleva 20 % na první 3 měsíce při měsíční platběZobrazit tarify
SilentShield

Bezplatný nástroj

Generátor robots.txt

Rozhodněte, které crawlery smějí číst váš web: vyhledávače, crawlery pro trénování AI, vyhledávání s AI a asistenti, kteří stahují stránky jménem uživatele. Soubor vzniká ve vašem prohlížeči — nic se k nám neodesílá.

Ve zkratce

Soubor robots.txt je prosba, ne zámek. Velké vyhledávače a poskytovatelé AI zveřejňují názvy svých crawlerů a uvádějí, že se souborem řídí; scrapery a spamboti nemusejí. Použijte jej k tomu, abyste slušným crawlerům řekli, co smějí číst, a vše ostatní kontrolujte na serveru.

Výchozí nastavení

Které crawlery mají zůstat venku?

Zaškrtnuté crawlery dostanou Disallow: /. Všechny ostatní se řídí pravidly pro všechny crawlery včetně cest níže.

Vyhledávače

Indexují vaše stránky pro klasické vyhledávání. Jejich zablokování odstraní váš web z jejich výsledků.

Trénování AI a sběr dat

Sbírají obsah pro trénování modelů AI. Google-Extended a Applebot-Extended nejsou samostatné crawlery: určují jen to, zda Google a Apple smějí procházený obsah použít pro své modely AI. Vyhledávání to neovlivní.

Vyhledávání s AI

Indexují stránky, aby je vyhledávání s AI mohlo zobrazit a citovat jako zdroj.

Asistenti jednající za uživatele

Stahují stránku, když se na ni někdo zeptá asistenta. Někteří poskytovatelé uvádějí, že pravidla robots.txt se na tyto požadavky nemusejí vztahovat.

Každý řádek začíná znakem /, například /admin/ nebo /kosik/. Znak * zastupuje libovolné znaky.

Úplná adresa vaší XML sitemapy začínající https://.

Signály obsahu (nepovinné)

Řádek se signály obsahu (Content-Signal, viz contentsignals.org) uvádí, jak se smí obsah po procházení použít. Ne každý crawler jej čte.

Jak soubor zveřejnit

  1. 1Výše zvolte crawlery a cesty a výsledek zkopírujte.
  2. 2Uložte jej jako prostý textový soubor s názvem robots.txt (UTF-8).
  3. 3Nahrajte jej do kořene své domény, aby se otevíral na adrese https://vase-domena/robots.txt. Každá subdoména potřebuje vlastní soubor.
  4. 4Otevřete tuto adresu v prohlížeči a zkontrolujte, že se zobrazí přesně tento text. Pokud váš hosting nebo CDN přidává vlastní pravidla, uvidíte je tam také.

Co robots.txt neumí

  • Nic nechrání. Zablokovanou cestu může kdokoli dál otevřít a soubor je veřejný: dokonce vyjmenovává cesty, které byste raději skryli.
  • Nezastaví boty, kteří jej ignorují — a právě od nich pochází spam ve formulářích a automatické registrace.
  • Zablokovaná stránka se i tak může objevit ve výsledcích vyhledávání, pokud na ni odkazují jiné weby. Chcete-li stránku udržet mimo index, povolte procházení a použijte noindex.

Časté dotazy

Blokuje robots.txt boty?

Ne. Je to prosba, kterou slušné crawlery dodržují. Scrapery, spamboti a mnoho automatizovaných nástrojů ji ignoruje. K jejich zastavení je potřeba kontrola na serveru, například omezení počtu požadavků nebo ochrana formulářů před boty.

Zmizí můj web z ChatGPT, když zablokuji GPTBot?

Ne vždy. OpenAI používá oddělené názvy: GPTBot pro trénování, OAI-SearchBot pro vyhledávání v ChatGPT a ChatGPT-User, když se uživatel ptá na stránku. Zablokování jednoho ostatní neovlivní. Také Anthropic a Perplexity používají pro tyto účely oddělené názvy.

Ovlivní zablokování Google-Extended mé pořadí v Google?

Podle Googlu ne. Google-Extended určuje jen to, zda smí být obsah procházený Googlebotem použit pro modely Gemini. Procházení a pořadí ve Vyhledávání Google zůstávají stejné.

Kde musí soubor být?

V kořeni hostitele pod /robots.txt — například https://example.com/robots.txt. Soubor v podsložce se ignoruje a každá subdoména potřebuje vlastní.

Co je řádek se signály obsahu (Content-Signal)?

Návrh zveřejněný na contentsignals.org, jak uvést, k čemu se smí obsah po procházení použít: pro výsledky vyhledávání, jako vstup pro odpovědi AI nebo pro trénování AI. Vyjadřuje vaše přání; zda je crawler respektuje, rozhoduje jeho provozovatel.

Odesílají se moje údaje někam?

Ne. Generátor běží celý ve vašem prohlížeči. Nic z toho, co zadáte, se nepřenáší ani neukládá.

Když boti váš robots.txt ignorují

SilentShield na serveru hodnotí odeslání vašich formulářů podle chování, které k nim vedlo — ve výchozím nastavení bez úlohy pro vaše návštěvníky.