Ilmainen työkalu
robots.txt-generaattori
Päätä, mitkä indeksoijat saavat lukea sivustoasi: hakukoneet, tekoälyn koulutusindeksoijat, tekoälyhaku ja avustajat, jotka hakevat sivuja käyttäjän puolesta. Tiedosto syntyy selaimessasi — meille ei lähetetä mitään.
Lyhyesti
robots.txt on pyyntö, ei lukko. Suuret hakukoneet ja tekoälypalvelujen tarjoajat julkaisevat indeksoijiensa nimet ja ilmoittavat noudattavansa tiedostoa; kaapijoiden ja roskapostibottien ei tarvitse. Käytä sitä kertomaan hyvin käyttäytyville indeksoijille, mitä ne saavat lukea, ja tarkista kaikki muu palvelimella.
Lähtökohta
Mitkä indeksoijat pidetään ulkona?
Valitut indeksoijat saavat rivin Disallow: /. Kaikki muut noudattavat kaikkia indeksoijia koskevia sääntöjä, myös alla olevia polkuja.
Jokainen rivi alkaa merkillä /, esimerkiksi /admin/ tai /ostoskori/. Merkki * tarkoittaa mitä tahansa merkkejä.
XML-sivustokarttasi täydellinen osoite, joka alkaa https://.
Näin julkaiset tiedoston
- 1Valitse yllä indeksoijat ja polut ja kopioi tulos.
- 2Tallenna se pelkäksi tekstitiedostoksi nimellä robots.txt (UTF-8).
- 3Lataa se verkkotunnuksesi juureen niin, että se avautuu osoitteessa https://oma-verkkotunnus/robots.txt. Jokainen aliverkkotunnus tarvitsee oman tiedostonsa.
- 4Avaa osoite selaimessa ja tarkista, että juuri tämä teksti näkyy. Jos palveluntarjoajasi tai CDN lisää omia sääntöjään, näet ne siellä myös.
Mitä robots.txt ei pysty tekemään
- Se ei suojaa mitään. Kuka tahansa voi edelleen avata estetyn polun, ja tiedosto on julkinen: se jopa luettelee polut, jotka haluaisit mieluiten piilottaa.
- Se ei pysäytä botteja, jotka jättävät sen huomiotta — ja juuri niistä tulevat lomakeroskaposti ja automaattiset rekisteröitymiset.
- Estetty sivu voi silti näkyä hakutuloksissa, jos muut sivustot linkittävät siihen. Jos haluat pitää sivun poissa hakemistosta, salli indeksointi ja käytä noindex-merkintää.
Usein kysytyt kysymykset
Estääkö robots.txt botit?
Ei. Se on pyyntö, jota hyvin käyttäytyvät indeksoijat noudattavat. Kaapijat, roskapostibotit ja monet automaattiset työkalut jättävät sen huomiotta. Niiden pysäyttämiseen tarvitaan tarkistus palvelimella, esimerkiksi nopeusrajoituksia tai bottisuojaus lomakkeillesi.
Katoaako sivustoni ChatGPT:stä, jos estän GPTBotin?
Ei aina. OpenAI käyttää erillisiä nimiä: GPTBot koulutukseen, OAI-SearchBot ChatGPT:n hakuun ja ChatGPT-User, kun käyttäjä kysyy sivusta. Yhden estäminen ei vaikuta muihin. Myös Anthropic ja Perplexity käyttävät näihin tarkoituksiin erillisiä nimiä.
Vaikuttaako Google-Extendedin estäminen sijoitukseeni Googlessa?
Googlen mukaan ei. Google-Extended määrää vain, saako Googlebotin indeksoimaa sisältöä käyttää Gemini-malleissa. Indeksointi ja sijoitus Google-haussa pysyvät ennallaan.
Missä tiedoston on oltava?
Palvelimen juuressa osoitteessa /robots.txt — esimerkiksi https://example.com/robots.txt. Alihakemistossa olevaa tiedostoa ei huomioida, ja jokainen aliverkkotunnus tarvitsee omansa.
Mikä on Content-Signal-rivi?
Osoitteessa contentsignals.org julkaistu ehdotus, jolla kerrotaan, miten sisältöä saa käyttää indeksoinnin jälkeen: hakutuloksiin, tekoälyn vastausten syötteeksi tai tekoälyn koulutukseen. Se ilmaisee toiveesi; noudattaako indeksoija sitä, on sen ylläpitäjän päätös.
Lähetetäänkö syöttämiäni tietoja jonnekin?
Ei. Generaattori toimii kokonaan selaimessasi. Mitään syöttämääsi ei siirretä eikä tallenneta.
Kun botit jättävät robots.txt-tiedostosi huomiotta
SilentShield arvioi lomakkeidesi lähetykset palvelimella niitä edeltäneen käyttäytymisen perusteella — oletuksena ilman tehtävää kävijöillesi.