Akcia pre nových zákazníkov−20 %Zľava 20 % na prvé 3 mesiace pri mesačnej platbeZobraziť tarify
SilentShield

Bezplatný nástroj

Generátor robots.txt

Rozhodnite, ktoré crawlery smú čítať váš web: vyhľadávače, crawlery na trénovanie AI, vyhľadávanie s AI a asistenti, ktorí sťahujú stránky v mene používateľa. Súbor vzniká vo vašom prehliadači — nič sa k nám neodosiela.

V skratke

Súbor robots.txt je prosba, nie zámka. Veľké vyhľadávače a poskytovatelia AI zverejňujú názvy svojich crawlerov a uvádzajú, že sa súborom riadia; scrapery a spamboty nemusia. Použite ho na to, aby ste slušným crawlerom povedali, čo smú čítať, a všetko ostatné kontrolujte na serveri.

Východiskové nastavenie

Ktoré crawlery majú zostať vonku?

Označené crawlery dostanú Disallow: /. Všetky ostatné sa riadia pravidlami pre všetky crawlery vrátane ciest nižšie.

Vyhľadávače

Indexujú vaše stránky pre klasické vyhľadávanie. Ich zablokovanie odstráni váš web z ich výsledkov.

Trénovanie AI a zber dát

Zbierajú obsah na trénovanie modelov AI. Google-Extended a Applebot-Extended nie sú samostatné crawlery: určujú len to, či Google a Apple smú prechádzaný obsah použiť pre svoje modely AI. Vyhľadávanie to neovplyvní.

Vyhľadávanie s AI

Indexujú stránky, aby ich vyhľadávanie s AI mohlo zobraziť a citovať ako zdroj.

Asistenti konajúci za používateľa

Sťahujú stránku, keď sa na ňu niekto opýta asistenta. Niektorí poskytovatelia uvádzajú, že pravidlá robots.txt sa na tieto požiadavky nemusia vzťahovať.

Každý riadok začína znakom /, napríklad /admin/ alebo /kosik/. Znak * zastupuje ľubovoľné znaky.

Úplná adresa vašej XML sitemapy začínajúca https://.

Signály obsahu (nepovinné)

Riadok so signálmi obsahu (Content-Signal, pozri contentsignals.org) uvádza, ako sa smie obsah po prechádzaní použiť. Nie každý crawler ho číta.

Ako súbor zverejniť

  1. 1Vyššie zvoľte crawlery a cesty a výsledok skopírujte.
  2. 2Uložte ho ako obyčajný textový súbor s názvom robots.txt (UTF-8).
  3. 3Umiestnite ho do koreňa svojej domény, aby sa otváral na adrese https://vasa-domena/robots.txt. Každá subdoména potrebuje vlastný súbor.
  4. 4Otvorte túto adresu v prehliadači a skontrolujte, či sa zobrazí presne tento text. Ak váš hosting alebo CDN pridáva vlastné pravidlá, uvidíte ich tam tiež.

Čo robots.txt nedokáže

  • Nič nechráni. Zablokovanú cestu môže ktokoľvek ďalej otvoriť a súbor je verejný: dokonca vymenúva cesty, ktoré by ste radšej skryli.
  • Nezastaví boty, ktoré ho ignorujú — a práve od nich pochádza spam vo formulároch a automatické registrácie.
  • Zablokovaná stránka sa aj tak môže objaviť vo výsledkoch vyhľadávania, ak na ňu odkazujú iné weby. Ak chcete stránku udržať mimo indexu, povoľte prechádzanie a použite noindex.

Časté otázky

Blokuje robots.txt boty?

Nie. Je to prosba, ktorú slušné crawlery dodržiavajú. Scrapery, spamboty a mnohé automatizované nástroje ju ignorujú. Na ich zastavenie je potrebná kontrola na serveri, napríklad obmedzenie počtu požiadaviek alebo ochrana formulárov pred botmi.

Zmizne môj web z ChatGPT, ak zablokujem GPTBot?

Nie vždy. OpenAI používa oddelené názvy: GPTBot na trénovanie, OAI-SearchBot na vyhľadávanie v ChatGPT a ChatGPT-User, keď sa používateľ pýta na stránku. Zablokovanie jedného ostatné neovplyvní. Aj Anthropic a Perplexity používajú na tieto účely oddelené názvy.

Ovplyvní zablokovanie Google-Extended moje poradie v Google?

Podľa Googlu nie. Google-Extended určuje len to, či smie byť obsah prechádzaný Googlebotom použitý pre modely Gemini. Prechádzanie a poradie vo Vyhľadávaní Google zostávajú rovnaké.

Kde musí byť súbor?

V koreni hostiteľa pod /robots.txt — napríklad https://example.com/robots.txt. Súbor v podpriečinku sa ignoruje a každá subdoména potrebuje vlastný.

Čo je riadok so signálmi obsahu (Content-Signal)?

Návrh zverejnený na contentsignals.org, ako uviesť, na čo sa smie obsah po prechádzaní použiť: na výsledky vyhľadávania, ako vstup pre odpovede AI alebo na trénovanie AI. Vyjadruje vaše želanie; či ho crawler rešpektuje, rozhoduje jeho prevádzkovateľ.

Odosielajú sa moje údaje niekam?

Nie. Generátor beží celý vo vašom prehliadači. Nič z toho, čo zadáte, sa neprenáša ani neukladá.

Keď boty váš robots.txt ignorujú

SilentShield na serveri hodnotí odoslania vašich formulárov podľa správania, ktoré k nim viedlo — v predvolenom nastavení bez úlohy pre vašich návštevníkov.