Besplatan alat
Generator datoteke robots.txt
Odlučite koji crawleri smiju čitati vaše web-mjesto: tražilice, crawleri za treniranje AI-ja, AI pretraživanje i asistenti koji dohvaćaju stranice u ime korisnika. Datoteka nastaje u vašem pregledniku — ništa nam se ne šalje.
Ukratko
robots.txt je molba, a ne brava. Velike tražilice i pružatelji AI usluga objavljuju nazive svojih crawlera i navode da se pridržavaju datoteke; scraperi i spam-botovi ne moraju. Koristite je kako biste pristojnim crawlerima rekli što smiju čitati, a sve ostalo provjeravajte na poslužitelju.
Polazište
Koji crawleri trebaju ostati vani?
Označeni crawleri dobivaju Disallow: /. Svi ostali slijede pravila za sve crawlere, uključujući putanje niže.
Svaki redak počinje s /, primjerice /admin/ ili /kosarica/. Znak * zamjenjuje bilo koje znakove.
Puna adresa vaše XML karte web-mjesta, koja počinje s https://.
Kako objaviti datoteku
- 1Gore odaberite crawlere i putanje pa kopirajte rezultat.
- 2Spremite ga kao običnu tekstnu datoteku s nazivom robots.txt (UTF-8).
- 3Prenesite je u korijen svoje domene tako da se otvara na https://vasa-domena/robots.txt. Svaka poddomena treba vlastitu datoteku.
- 4Otvorite tu adresu u pregledniku i provjerite pojavljuje li se točno ovaj tekst. Ako vaš hosting ili CDN dodaje vlastita pravila, vidjet ćete ih i ondje.
Što robots.txt ne može
- Ništa ne štiti. Blokiranu putanju i dalje može otvoriti bilo tko, a datoteka je javna: čak navodi putanje koje biste radije sakrili.
- Ne zaustavlja botove koji je zanemaruju — a upravo od njih dolaze spam u obrascima i automatizirane registracije.
- Blokirana stranica ipak se može pojaviti u rezultatima pretraživanja ako druga web-mjesta vode na nju. Da biste stranicu držali izvan indeksa, dopustite dohvaćanje i upotrijebite noindex.
Česta pitanja
Blokira li robots.txt botove?
Ne. To je molba koje se pristojni crawleri pridržavaju. Scraperi, spam-botovi i mnogi automatizirani alati je zanemaruju. Za njihovo zaustavljanje potrebna je provjera na poslužitelju, primjerice ograničenje broja zahtjeva ili zaštita obrazaca od botova.
Nestaje li moje web-mjesto iz ChatGPT-a ako blokiram GPTBot?
Ne nužno. OpenAI koristi odvojene nazive: GPTBot za treniranje, OAI-SearchBot za pretraživanje u ChatGPT-u i ChatGPT-User kad korisnik pita o nekoj stranici. Blokiranje jednog ne utječe na ostale. I Anthropic i Perplexity koriste odvojene nazive za te svrhe.
Utječe li blokiranje Google-Extended na moj položaj na Googleu?
Prema Googleu, ne. Google-Extended samo određuje smije li se sadržaj koji je dohvatio Googlebot koristiti za modele Gemini. Dohvaćanje i rangiranje u Google pretraživanju ostaju isti.
Gdje se datoteka mora nalaziti?
U korijenu hosta, pod /robots.txt — primjerice https://example.com/robots.txt. Datoteka u podmapi se zanemaruje, a svaka poddomena treba vlastitu.
Što je redak Content-Signal?
Prijedlog objavljen na contentsignals.org za navođenje kako se sadržaj smije koristiti nakon dohvaćanja: za rezultate pretraživanja, kao ulaz za AI odgovore ili za treniranje AI-ja. Izražava vašu želju; poštuje li je crawler, odlučuje njegov operater.
Šalju li se moji unosi nekamo?
Ne. Generator radi u cijelosti u vašem pregledniku. Ništa od onoga što unesete ne prenosi se niti sprema.
Kad botovi zanemaruju vaš robots.txt
SilentShield na poslužitelju procjenjuje slanja vaših obrazaca prema ponašanju koje im je prethodilo — prema zadanim postavkama bez zadatka za vaše posjetitelje.