Bezplatný nástroj
Generátor robots.txt
Rozhodnite, ktoré crawlery smú čítať váš web: vyhľadávače, crawlery na trénovanie AI, vyhľadávanie s AI a asistenti, ktorí sťahujú stránky v mene používateľa. Súbor vzniká vo vašom prehliadači — nič sa k nám neodosiela.
V skratke
Súbor robots.txt je prosba, nie zámka. Veľké vyhľadávače a poskytovatelia AI zverejňujú názvy svojich crawlerov a uvádzajú, že sa súborom riadia; scrapery a spamboty nemusia. Použite ho na to, aby ste slušným crawlerom povedali, čo smú čítať, a všetko ostatné kontrolujte na serveri.
Východiskové nastavenie
Ktoré crawlery majú zostať vonku?
Označené crawlery dostanú Disallow: /. Všetky ostatné sa riadia pravidlami pre všetky crawlery vrátane ciest nižšie.
Každý riadok začína znakom /, napríklad /admin/ alebo /kosik/. Znak * zastupuje ľubovoľné znaky.
Úplná adresa vašej XML sitemapy začínajúca https://.
Ako súbor zverejniť
- 1Vyššie zvoľte crawlery a cesty a výsledok skopírujte.
- 2Uložte ho ako obyčajný textový súbor s názvom robots.txt (UTF-8).
- 3Umiestnite ho do koreňa svojej domény, aby sa otváral na adrese https://vasa-domena/robots.txt. Každá subdoména potrebuje vlastný súbor.
- 4Otvorte túto adresu v prehliadači a skontrolujte, či sa zobrazí presne tento text. Ak váš hosting alebo CDN pridáva vlastné pravidlá, uvidíte ich tam tiež.
Čo robots.txt nedokáže
- Nič nechráni. Zablokovanú cestu môže ktokoľvek ďalej otvoriť a súbor je verejný: dokonca vymenúva cesty, ktoré by ste radšej skryli.
- Nezastaví boty, ktoré ho ignorujú — a práve od nich pochádza spam vo formulároch a automatické registrácie.
- Zablokovaná stránka sa aj tak môže objaviť vo výsledkoch vyhľadávania, ak na ňu odkazujú iné weby. Ak chcete stránku udržať mimo indexu, povoľte prechádzanie a použite noindex.
Časté otázky
Blokuje robots.txt boty?
Nie. Je to prosba, ktorú slušné crawlery dodržiavajú. Scrapery, spamboty a mnohé automatizované nástroje ju ignorujú. Na ich zastavenie je potrebná kontrola na serveri, napríklad obmedzenie počtu požiadaviek alebo ochrana formulárov pred botmi.
Zmizne môj web z ChatGPT, ak zablokujem GPTBot?
Nie vždy. OpenAI používa oddelené názvy: GPTBot na trénovanie, OAI-SearchBot na vyhľadávanie v ChatGPT a ChatGPT-User, keď sa používateľ pýta na stránku. Zablokovanie jedného ostatné neovplyvní. Aj Anthropic a Perplexity používajú na tieto účely oddelené názvy.
Ovplyvní zablokovanie Google-Extended moje poradie v Google?
Podľa Googlu nie. Google-Extended určuje len to, či smie byť obsah prechádzaný Googlebotom použitý pre modely Gemini. Prechádzanie a poradie vo Vyhľadávaní Google zostávajú rovnaké.
Kde musí byť súbor?
V koreni hostiteľa pod /robots.txt — napríklad https://example.com/robots.txt. Súbor v podpriečinku sa ignoruje a každá subdoména potrebuje vlastný.
Čo je riadok so signálmi obsahu (Content-Signal)?
Návrh zverejnený na contentsignals.org, ako uviesť, na čo sa smie obsah po prechádzaní použiť: na výsledky vyhľadávania, ako vstup pre odpovede AI alebo na trénovanie AI. Vyjadruje vaše želanie; či ho crawler rešpektuje, rozhoduje jeho prevádzkovateľ.
Odosielajú sa moje údaje niekam?
Nie. Generátor beží celý vo vašom prehliadači. Nič z toho, čo zadáte, sa neprenáša ani neukladá.
Keď boty váš robots.txt ignorujú
SilentShield na serveri hodnotí odoslania vašich formulárov podľa správania, ktoré k nim viedlo — v predvolenom nastavení bez úlohy pre vašich návštevníkov.