Tarjous uusille asiakkaille−20 %20 % alennus ensimmäiset 3 kuukautta kuukausimaksullaKatso hinnat
SilentShield

Ilmainen työkalu

robots.txt-generaattori

Päätä, mitkä indeksoijat saavat lukea sivustoasi: hakukoneet, tekoälyn koulutusindeksoijat, tekoälyhaku ja avustajat, jotka hakevat sivuja käyttäjän puolesta. Tiedosto syntyy selaimessasi — meille ei lähetetä mitään.

Lyhyesti

robots.txt on pyyntö, ei lukko. Suuret hakukoneet ja tekoälypalvelujen tarjoajat julkaisevat indeksoijiensa nimet ja ilmoittavat noudattavansa tiedostoa; kaapijoiden ja roskapostibottien ei tarvitse. Käytä sitä kertomaan hyvin käyttäytyville indeksoijille, mitä ne saavat lukea, ja tarkista kaikki muu palvelimella.

Lähtökohta

Mitkä indeksoijat pidetään ulkona?

Valitut indeksoijat saavat rivin Disallow: /. Kaikki muut noudattavat kaikkia indeksoijia koskevia sääntöjä, myös alla olevia polkuja.

Hakukoneet

Indeksoivat sivusi perinteistä hakua varten. Jos estät ne, sivustosi katoaa niiden hakutuloksista.

Tekoälyn koulutus ja tiedonkeruu

Keräävät sisältöä tekoälymallien koulutukseen. Google-Extended ja Applebot-Extended eivät ole erillisiä indeksoijia: ne määräävät vain, saavatko Google ja Apple käyttää indeksoitua sisältöä tekoälymalleissaan. Haku ei muutu.

Tekoälyhaku

Indeksoivat sivuja, jotta tekoälyhaku voi näyttää ne ja mainita ne lähteenä.

Käyttäjän puolesta toimivat avustajat

Hakevat sivun, kun joku kysyy avustajalta siitä. Jotkin palveluntarjoajat ilmoittavat, että robots.txt-säännöt eivät välttämättä koske näitä pyyntöjä.

Jokainen rivi alkaa merkillä /, esimerkiksi /admin/ tai /ostoskori/. Merkki * tarkoittaa mitä tahansa merkkejä.

XML-sivustokarttasi täydellinen osoite, joka alkaa https://.

Sisältösignaalit (valinnainen)

Content-Signal-rivi (contentsignals.org) kertoo, miten sisältöä saa käyttää indeksoinnin jälkeen. Kaikki indeksoijat eivät lue sitä.

Näin julkaiset tiedoston

  1. 1Valitse yllä indeksoijat ja polut ja kopioi tulos.
  2. 2Tallenna se pelkäksi tekstitiedostoksi nimellä robots.txt (UTF-8).
  3. 3Lataa se verkkotunnuksesi juureen niin, että se avautuu osoitteessa https://oma-verkkotunnus/robots.txt. Jokainen aliverkkotunnus tarvitsee oman tiedostonsa.
  4. 4Avaa osoite selaimessa ja tarkista, että juuri tämä teksti näkyy. Jos palveluntarjoajasi tai CDN lisää omia sääntöjään, näet ne siellä myös.

Mitä robots.txt ei pysty tekemään

  • Se ei suojaa mitään. Kuka tahansa voi edelleen avata estetyn polun, ja tiedosto on julkinen: se jopa luettelee polut, jotka haluaisit mieluiten piilottaa.
  • Se ei pysäytä botteja, jotka jättävät sen huomiotta — ja juuri niistä tulevat lomakeroskaposti ja automaattiset rekisteröitymiset.
  • Estetty sivu voi silti näkyä hakutuloksissa, jos muut sivustot linkittävät siihen. Jos haluat pitää sivun poissa hakemistosta, salli indeksointi ja käytä noindex-merkintää.

Usein kysytyt kysymykset

Estääkö robots.txt botit?

Ei. Se on pyyntö, jota hyvin käyttäytyvät indeksoijat noudattavat. Kaapijat, roskapostibotit ja monet automaattiset työkalut jättävät sen huomiotta. Niiden pysäyttämiseen tarvitaan tarkistus palvelimella, esimerkiksi nopeusrajoituksia tai bottisuojaus lomakkeillesi.

Katoaako sivustoni ChatGPT:stä, jos estän GPTBotin?

Ei aina. OpenAI käyttää erillisiä nimiä: GPTBot koulutukseen, OAI-SearchBot ChatGPT:n hakuun ja ChatGPT-User, kun käyttäjä kysyy sivusta. Yhden estäminen ei vaikuta muihin. Myös Anthropic ja Perplexity käyttävät näihin tarkoituksiin erillisiä nimiä.

Vaikuttaako Google-Extendedin estäminen sijoitukseeni Googlessa?

Googlen mukaan ei. Google-Extended määrää vain, saako Googlebotin indeksoimaa sisältöä käyttää Gemini-malleissa. Indeksointi ja sijoitus Google-haussa pysyvät ennallaan.

Missä tiedoston on oltava?

Palvelimen juuressa osoitteessa /robots.txt — esimerkiksi https://example.com/robots.txt. Alihakemistossa olevaa tiedostoa ei huomioida, ja jokainen aliverkkotunnus tarvitsee omansa.

Mikä on Content-Signal-rivi?

Osoitteessa contentsignals.org julkaistu ehdotus, jolla kerrotaan, miten sisältöä saa käyttää indeksoinnin jälkeen: hakutuloksiin, tekoälyn vastausten syötteeksi tai tekoälyn koulutukseen. Se ilmaisee toiveesi; noudattaako indeksoija sitä, on sen ylläpitäjän päätös.

Lähetetäänkö syöttämiäni tietoja jonnekin?

Ei. Generaattori toimii kokonaan selaimessasi. Mitään syöttämääsi ei siirretä eikä tallenneta.

Kun botit jättävät robots.txt-tiedostosi huomiotta

SilentShield arvioi lomakkeidesi lähetykset palvelimella niitä edeltäneen käyttäytymisen perusteella — oletuksena ilman tehtävää kävijöillesi.