Bezplatný nástroj
Generátor robots.txt
Rozhodněte, které crawlery smějí číst váš web: vyhledávače, crawlery pro trénování AI, vyhledávání s AI a asistenti, kteří stahují stránky jménem uživatele. Soubor vzniká ve vašem prohlížeči — nic se k nám neodesílá.
Ve zkratce
Soubor robots.txt je prosba, ne zámek. Velké vyhledávače a poskytovatelé AI zveřejňují názvy svých crawlerů a uvádějí, že se souborem řídí; scrapery a spamboti nemusejí. Použijte jej k tomu, abyste slušným crawlerům řekli, co smějí číst, a vše ostatní kontrolujte na serveru.
Výchozí nastavení
Které crawlery mají zůstat venku?
Zaškrtnuté crawlery dostanou Disallow: /. Všechny ostatní se řídí pravidly pro všechny crawlery včetně cest níže.
Každý řádek začíná znakem /, například /admin/ nebo /kosik/. Znak * zastupuje libovolné znaky.
Úplná adresa vaší XML sitemapy začínající https://.
Jak soubor zveřejnit
- 1Výše zvolte crawlery a cesty a výsledek zkopírujte.
- 2Uložte jej jako prostý textový soubor s názvem robots.txt (UTF-8).
- 3Nahrajte jej do kořene své domény, aby se otevíral na adrese https://vase-domena/robots.txt. Každá subdoména potřebuje vlastní soubor.
- 4Otevřete tuto adresu v prohlížeči a zkontrolujte, že se zobrazí přesně tento text. Pokud váš hosting nebo CDN přidává vlastní pravidla, uvidíte je tam také.
Co robots.txt neumí
- Nic nechrání. Zablokovanou cestu může kdokoli dál otevřít a soubor je veřejný: dokonce vyjmenovává cesty, které byste raději skryli.
- Nezastaví boty, kteří jej ignorují — a právě od nich pochází spam ve formulářích a automatické registrace.
- Zablokovaná stránka se i tak může objevit ve výsledcích vyhledávání, pokud na ni odkazují jiné weby. Chcete-li stránku udržet mimo index, povolte procházení a použijte noindex.
Časté dotazy
Blokuje robots.txt boty?
Ne. Je to prosba, kterou slušné crawlery dodržují. Scrapery, spamboti a mnoho automatizovaných nástrojů ji ignoruje. K jejich zastavení je potřeba kontrola na serveru, například omezení počtu požadavků nebo ochrana formulářů před boty.
Zmizí můj web z ChatGPT, když zablokuji GPTBot?
Ne vždy. OpenAI používá oddělené názvy: GPTBot pro trénování, OAI-SearchBot pro vyhledávání v ChatGPT a ChatGPT-User, když se uživatel ptá na stránku. Zablokování jednoho ostatní neovlivní. Také Anthropic a Perplexity používají pro tyto účely oddělené názvy.
Ovlivní zablokování Google-Extended mé pořadí v Google?
Podle Googlu ne. Google-Extended určuje jen to, zda smí být obsah procházený Googlebotem použit pro modely Gemini. Procházení a pořadí ve Vyhledávání Google zůstávají stejné.
Kde musí soubor být?
V kořeni hostitele pod /robots.txt — například https://example.com/robots.txt. Soubor v podsložce se ignoruje a každá subdoména potřebuje vlastní.
Co je řádek se signály obsahu (Content-Signal)?
Návrh zveřejněný na contentsignals.org, jak uvést, k čemu se smí obsah po procházení použít: pro výsledky vyhledávání, jako vstup pro odpovědi AI nebo pro trénování AI. Vyjadřuje vaše přání; zda je crawler respektuje, rozhoduje jeho provozovatel.
Odesílají se moje údaje někam?
Ne. Generátor běží celý ve vašem prohlížeči. Nic z toho, co zadáte, se nepřenáší ani neukládá.
Když boti váš robots.txt ignorují
SilentShield na serveru hodnotí odeslání vašich formulářů podle chování, které k nim vedlo — ve výchozím nastavení bez úlohy pro vaše návštěvníky.