Brezplačno orodje
Generator datoteke robots.txt
Določite, kateri pajki smejo brati vaše spletno mesto: iskalniki, pajki za učenje UI, iskanje z UI in pomočniki, ki strani pridobivajo v imenu uporabnika. Datoteka nastane v vašem brskalniku — nam se nič ne pošlje.
Na kratko
robots.txt je prošnja, ne ključavnica. Veliki iskalniki in ponudniki UI objavljajo imena svojih pajkov in navajajo, da upoštevajo datoteko; strgalniki in neželeni boti tega ne rabijo. Uporabite jo, da spodobnim pajkom poveste, kaj smejo brati, vse drugo pa preverjajte na strežniku.
Izhodišče
Kateri pajki naj ostanejo zunaj?
Označeni pajki dobijo Disallow: /. Vsi drugi upoštevajo pravila za vse pajke, vključno s potmi spodaj.
Vsaka vrstica se začne z /, na primer /admin/ ali /kosarica/. Znak * nadomešča poljubne znake.
Polni naslov vašega zemljevida strani XML, ki se začne s https://.
Kako objavite datoteko
- 1Zgoraj izberite pajke in poti ter kopirajte rezultat.
- 2Shranite ga kot navadno besedilno datoteko z imenom robots.txt (UTF-8).
- 3Naložite jo v korenski imenik svoje domene, da se odpre na https://vasa-domena/robots.txt. Vsaka poddomena potrebuje svojo datoteko.
- 4Odprite ta naslov v brskalniku in preverite, ali se prikaže natanko to besedilo. Če vaš ponudnik gostovanja ali CDN dodaja lastna pravila, jih boste videli tudi tam.
Česa robots.txt ne zmore
- Ničesar ne ščiti. Blokirano pot lahko še vedno odpre kdor koli, datoteka pa je javna: navaja celo poti, ki bi jih raje skrili.
- Ne ustavi botov, ki jo prezrejo — in prav od njih prihajajo neželena vsebina v obrazcih in samodejne registracije.
- Blokirana stran se lahko kljub temu pojavi v rezultatih iskanja, če nanjo povezujejo druga spletna mesta. Če želite stran obdržati zunaj indeksa, dovolite pridobivanje in uporabite noindex.
Pogosta vprašanja
Ali robots.txt blokira bote?
Ne. To je prošnja, ki jo spodobni pajki upoštevajo. Strgalniki, neželeni boti in številna samodejna orodja jo prezrejo. Za njihovo ustavitev je potrebno preverjanje na strežniku, na primer omejitev števila zahtev ali zaščita obrazcev pred boti.
Ali moje spletno mesto izgine iz ChatGPT, če blokiram GPTBot?
Ne nujno. OpenAI uporablja ločena imena: GPTBot za učenje, OAI-SearchBot za iskanje v ChatGPT in ChatGPT-User, ko uporabnik vpraša o strani. Blokada enega ne vpliva na druge. Tudi Anthropic in Perplexity za te namene uporabljata ločena imena.
Ali blokada Google-Extended vpliva na mojo uvrstitev v Googlu?
Po navedbah Googla ne. Google-Extended določa le, ali se sme vsebina, ki jo je pridobil Googlebot, uporabiti za modele Gemini. Pridobivanje in uvrstitev v Iskanju Google ostaneta enaka.
Kje mora biti datoteka?
V korenu gostitelja pod /robots.txt — na primer https://example.com/robots.txt. Datoteka v podmapi se prezre, vsaka poddomena pa potrebuje svojo.
Kaj je vrstica Content-Signal?
Predlog, objavljen na contentsignals.org, za navedbo, kako se sme vsebina uporabiti po pridobitvi: za rezultate iskanja, kot vhod za odgovore UI ali za učenje UI. Izraža vašo željo; ali jo pajek upošteva, odloči njegov upravljavec.
Ali se moji vnosi kam pošljejo?
Ne. Generator v celoti deluje v vašem brskalniku. Nič od tega, kar vnesete, se ne prenese ali shrani.
Ko boti prezrejo vaš robots.txt
SilentShield na strežniku oceni oddaje vaših obrazcev glede na vedenje, ki je vodilo do njih — privzeto brez naloge za vaše obiskovalce.