Ponudba za nove stranke−20 %20 % popusta za prve 3 mesece pri mesečnem plačiluOglejte si tarife
SilentShield

Brezplačno orodje

Generator datoteke robots.txt

Določite, kateri pajki smejo brati vaše spletno mesto: iskalniki, pajki za učenje UI, iskanje z UI in pomočniki, ki strani pridobivajo v imenu uporabnika. Datoteka nastane v vašem brskalniku — nam se nič ne pošlje.

Na kratko

robots.txt je prošnja, ne ključavnica. Veliki iskalniki in ponudniki UI objavljajo imena svojih pajkov in navajajo, da upoštevajo datoteko; strgalniki in neželeni boti tega ne rabijo. Uporabite jo, da spodobnim pajkom poveste, kaj smejo brati, vse drugo pa preverjajte na strežniku.

Izhodišče

Kateri pajki naj ostanejo zunaj?

Označeni pajki dobijo Disallow: /. Vsi drugi upoštevajo pravila za vse pajke, vključno s potmi spodaj.

Iskalniki

Indeksirajo vaše strani za klasično iskanje. Če jih blokirate, vaše spletno mesto izgine iz njihovih rezultatov.

Učenje UI in zbiranje podatkov

Zbirajo vsebino za učenje modelov UI. Google-Extended in Applebot-Extended nista samostojna pajka: določata le, ali smeta Google in Apple pridobljeno vsebino uporabiti za svoje modele UI. Iskanje ostane nespremenjeno.

Iskanje z UI

Indeksirajo strani, da jih lahko iskanje z UI prikaže in navede kot vir.

Pomočniki, ki delujejo za uporabnika

Pridobijo stran, ko nekdo o njej vpraša pomočnika. Nekateri ponudniki navajajo, da pravila iz robots.txt za te zahteve morda ne veljajo.

Vsaka vrstica se začne z /, na primer /admin/ ali /kosarica/. Znak * nadomešča poljubne znake.

Polni naslov vašega zemljevida strani XML, ki se začne s https://.

Signali vsebine (neobvezno)

Vrstica Content-Signal (contentsignals.org) navaja, kako se sme vsebina uporabiti po pridobitvi. Ne bere je vsak pajek.

Kako objavite datoteko

  1. 1Zgoraj izberite pajke in poti ter kopirajte rezultat.
  2. 2Shranite ga kot navadno besedilno datoteko z imenom robots.txt (UTF-8).
  3. 3Naložite jo v korenski imenik svoje domene, da se odpre na https://vasa-domena/robots.txt. Vsaka poddomena potrebuje svojo datoteko.
  4. 4Odprite ta naslov v brskalniku in preverite, ali se prikaže natanko to besedilo. Če vaš ponudnik gostovanja ali CDN dodaja lastna pravila, jih boste videli tudi tam.

Česa robots.txt ne zmore

  • Ničesar ne ščiti. Blokirano pot lahko še vedno odpre kdor koli, datoteka pa je javna: navaja celo poti, ki bi jih raje skrili.
  • Ne ustavi botov, ki jo prezrejo — in prav od njih prihajajo neželena vsebina v obrazcih in samodejne registracije.
  • Blokirana stran se lahko kljub temu pojavi v rezultatih iskanja, če nanjo povezujejo druga spletna mesta. Če želite stran obdržati zunaj indeksa, dovolite pridobivanje in uporabite noindex.

Pogosta vprašanja

Ali robots.txt blokira bote?

Ne. To je prošnja, ki jo spodobni pajki upoštevajo. Strgalniki, neželeni boti in številna samodejna orodja jo prezrejo. Za njihovo ustavitev je potrebno preverjanje na strežniku, na primer omejitev števila zahtev ali zaščita obrazcev pred boti.

Ali moje spletno mesto izgine iz ChatGPT, če blokiram GPTBot?

Ne nujno. OpenAI uporablja ločena imena: GPTBot za učenje, OAI-SearchBot za iskanje v ChatGPT in ChatGPT-User, ko uporabnik vpraša o strani. Blokada enega ne vpliva na druge. Tudi Anthropic in Perplexity za te namene uporabljata ločena imena.

Ali blokada Google-Extended vpliva na mojo uvrstitev v Googlu?

Po navedbah Googla ne. Google-Extended določa le, ali se sme vsebina, ki jo je pridobil Googlebot, uporabiti za modele Gemini. Pridobivanje in uvrstitev v Iskanju Google ostaneta enaka.

Kje mora biti datoteka?

V korenu gostitelja pod /robots.txt — na primer https://example.com/robots.txt. Datoteka v podmapi se prezre, vsaka poddomena pa potrebuje svojo.

Kaj je vrstica Content-Signal?

Predlog, objavljen na contentsignals.org, za navedbo, kako se sme vsebina uporabiti po pridobitvi: za rezultate iskanja, kot vhod za odgovore UI ali za učenje UI. Izraža vašo željo; ali jo pajek upošteva, odloči njegov upravljavec.

Ali se moji vnosi kam pošljejo?

Ne. Generator v celoti deluje v vašem brskalniku. Nič od tega, kar vnesete, se ne prenese ali shrani.

Ko boti prezrejo vaš robots.txt

SilentShield na strežniku oceni oddaje vaših obrazcev glede na vedenje, ki je vodilo do njih — privzeto brez naloge za vaše obiskovalce.