Ponuda za nove korisnike−20 %20 % popusta za prva 3 mjeseca uz mjesečno plaćanjePogledajte tarife
SilentShield

Besplatan alat

Generator datoteke robots.txt

Odlučite koji crawleri smiju čitati vaše web-mjesto: tražilice, crawleri za treniranje AI-ja, AI pretraživanje i asistenti koji dohvaćaju stranice u ime korisnika. Datoteka nastaje u vašem pregledniku — ništa nam se ne šalje.

Ukratko

robots.txt je molba, a ne brava. Velike tražilice i pružatelji AI usluga objavljuju nazive svojih crawlera i navode da se pridržavaju datoteke; scraperi i spam-botovi ne moraju. Koristite je kako biste pristojnim crawlerima rekli što smiju čitati, a sve ostalo provjeravajte na poslužitelju.

Polazište

Koji crawleri trebaju ostati vani?

Označeni crawleri dobivaju Disallow: /. Svi ostali slijede pravila za sve crawlere, uključujući putanje niže.

Tražilice

Indeksiraju vaše stranice za klasično pretraživanje. Ako ih blokirate, vaše web-mjesto nestaje iz njihovih rezultata.

Treniranje AI-ja i prikupljanje podataka

Prikupljaju sadržaj za treniranje AI modela. Google-Extended i Applebot-Extended nisu zasebni crawleri: oni samo određuju smiju li Google i Apple koristiti dohvaćeni sadržaj za svoje AI modele. Pretraživanje to ne mijenja.

AI pretraživanje

Indeksiraju stranice kako bi ih AI pretraživanje moglo prikazati i citirati kao izvor.

Asistenti koji djeluju za korisnika

Dohvaćaju stranicu kad netko asistenta pita o njoj. Neki pružatelji navode da se pravila iz robots.txt možda ne primjenjuju na te zahtjeve.

Svaki redak počinje s /, primjerice /admin/ ili /kosarica/. Znak * zamjenjuje bilo koje znakove.

Puna adresa vaše XML karte web-mjesta, koja počinje s https://.

Signali sadržaja (neobavezno)

Redak Content-Signal (contentsignals.org) navodi kako se sadržaj smije koristiti nakon dohvaćanja. Ne čita ga svaki crawler.

Kako objaviti datoteku

  1. 1Gore odaberite crawlere i putanje pa kopirajte rezultat.
  2. 2Spremite ga kao običnu tekstnu datoteku s nazivom robots.txt (UTF-8).
  3. 3Prenesite je u korijen svoje domene tako da se otvara na https://vasa-domena/robots.txt. Svaka poddomena treba vlastitu datoteku.
  4. 4Otvorite tu adresu u pregledniku i provjerite pojavljuje li se točno ovaj tekst. Ako vaš hosting ili CDN dodaje vlastita pravila, vidjet ćete ih i ondje.

Što robots.txt ne može

  • Ništa ne štiti. Blokiranu putanju i dalje može otvoriti bilo tko, a datoteka je javna: čak navodi putanje koje biste radije sakrili.
  • Ne zaustavlja botove koji je zanemaruju — a upravo od njih dolaze spam u obrascima i automatizirane registracije.
  • Blokirana stranica ipak se može pojaviti u rezultatima pretraživanja ako druga web-mjesta vode na nju. Da biste stranicu držali izvan indeksa, dopustite dohvaćanje i upotrijebite noindex.

Česta pitanja

Blokira li robots.txt botove?

Ne. To je molba koje se pristojni crawleri pridržavaju. Scraperi, spam-botovi i mnogi automatizirani alati je zanemaruju. Za njihovo zaustavljanje potrebna je provjera na poslužitelju, primjerice ograničenje broja zahtjeva ili zaštita obrazaca od botova.

Nestaje li moje web-mjesto iz ChatGPT-a ako blokiram GPTBot?

Ne nužno. OpenAI koristi odvojene nazive: GPTBot za treniranje, OAI-SearchBot za pretraživanje u ChatGPT-u i ChatGPT-User kad korisnik pita o nekoj stranici. Blokiranje jednog ne utječe na ostale. I Anthropic i Perplexity koriste odvojene nazive za te svrhe.

Utječe li blokiranje Google-Extended na moj položaj na Googleu?

Prema Googleu, ne. Google-Extended samo određuje smije li se sadržaj koji je dohvatio Googlebot koristiti za modele Gemini. Dohvaćanje i rangiranje u Google pretraživanju ostaju isti.

Gdje se datoteka mora nalaziti?

U korijenu hosta, pod /robots.txt — primjerice https://example.com/robots.txt. Datoteka u podmapi se zanemaruje, a svaka poddomena treba vlastitu.

Što je redak Content-Signal?

Prijedlog objavljen na contentsignals.org za navođenje kako se sadržaj smije koristiti nakon dohvaćanja: za rezultate pretraživanja, kao ulaz za AI odgovore ili za treniranje AI-ja. Izražava vašu želju; poštuje li je crawler, odlučuje njegov operater.

Šalju li se moji unosi nekamo?

Ne. Generator radi u cijelosti u vašem pregledniku. Ništa od onoga što unesete ne prenosi se niti sprema.

Kad botovi zanemaruju vaš robots.txt

SilentShield na poslužitelju procjenjuje slanja vaših obrazaca prema ponašanju koje im je prethodilo — prema zadanim postavkama bez zadatka za vaše posjetitelje.