Pakkumine uutele klientidele−20 %20 % allahindlust esimesed 3 kuud igakuise maksegaVaadake pakette
SilentShield

Tasuta tööriist

robots.txt generaator

Otsustage, millised roomajad tohivad teie veebisaiti lugeda: otsingumootorid, tehisintellekti treenimise roomajad, tehisintellektiga otsing ja assistendid, mis laadivad lehti kasutaja nimel. Fail luuakse teie brauseris — meile ei saadeta midagi.

Lühidalt

robots.txt on palve, mitte lukk. Suured otsingumootorid ja tehisintellekti pakkujad avaldavad oma roomajate nimed ja kinnitavad, et need järgivad faili; kraapijad ja rämpspostirobotid ei pea seda tegema. Kasutage seda, et öelda korralikele roomajatele, mida nad lugeda tohivad, ja kontrollige kõike muud serveris.

Lähtekoht

Millised roomajad peavad jääma välja?

Märgitud roomajad saavad rea Disallow: /. Kõik teised järgivad kõigi roomajate reegleid, sealhulgas allpool olevaid teid.

Otsingumootorid

Indekseerivad teie lehti klassikalise otsingu jaoks. Kui need blokeerite, kaob teie sait nende tulemustest.

Tehisintellekti treenimine ja andmekogumine

Koguvad sisu tehisintellekti mudelite treenimiseks. Google-Extended ja Applebot-Extended ei ole eraldi roomajad: need määravad ainult, kas Google ja Apple tohivad kogutud sisu oma tehisintellekti mudelites kasutada. Otsingut see ei mõjuta.

Tehisintellektiga otsing

Indekseerivad lehti, et tehisintellektiga otsing saaks neid näidata ja allikana tsiteerida.

Kasutaja nimel tegutsevad assistendid

Laadivad lehe, kui keegi küsib selle kohta assistendilt. Mõned pakkujad märgivad, et robots.txt reeglid ei pruugi nende päringute kohta kehtida.

Iga rida algab märgiga /, näiteks /admin/ või /ostukorv/. Märk * tähistab suvalisi märke.

Teie XML-saidikaardi täielik aadress, mis algab https://.

Sisusignaalid (valikuline)

Rida Content-Signal (contentsignals.org) näitab, kuidas sisu tohib pärast kogumist kasutada. Iga roomaja seda ei loe.

Kuidas fail avaldada

  1. 1Valige ülal roomajad ja teed ning kopeerige tulemus.
  2. 2Salvestage see lihttekstifailina nimega robots.txt (UTF-8).
  3. 3Laadige see oma domeeni juurkausta nii, et see avaneks aadressil https://teie-domeen/robots.txt. Iga alamdomeen vajab oma faili.
  4. 4Avage see aadress brauseris ja kontrollige, kas kuvatakse täpselt see tekst. Kui teie majutuse pakkuja või CDN lisab oma reegleid, näete neid ka seal.

Mida robots.txt teha ei suuda

  • See ei kaitse midagi. Blokeeritud teed saab endiselt igaüks avada ja fail on avalik: see loetleb isegi teed, mida te pigem peidaksite.
  • See ei peata roboteid, mis seda eiravad — ja just neilt pärinevad vormide rämpspost ja automaatsed registreerimised.
  • Blokeeritud leht võib siiski otsingutulemustes ilmuda, kui teised saidid sellele viitavad. Lehe indeksist väljas hoidmiseks lubage selle laadimine ja kasutage noindex-märget.

Korduma kippuvad küsimused

Kas robots.txt blokeerib roboteid?

Ei. See on palve, mida korralikud roomajad järgivad. Kraapijad, rämpspostirobotid ja paljud automaatsed tööriistad eiravad seda. Nende peatamiseks on vaja kontrolli serveris, näiteks päringute piiranguid või vormide kaitset robotite eest.

Kas minu sait kaob ChatGPT-st, kui blokeerin GPTBoti?

Mitte tingimata. OpenAI kasutab eraldi nimesid: GPTBot treenimiseks, OAI-SearchBot ChatGPT otsingu jaoks ja ChatGPT-User, kui kasutaja küsib mõne lehe kohta. Ühe blokeerimine teisi ei mõjuta. Ka Anthropic ja Perplexity kasutavad nendeks eesmärkideks eraldi nimesid.

Kas Google-Extendedi blokeerimine mõjutab minu kohta Google'is?

Google'i sõnul mitte. Google-Extended määrab ainult, kas Googleboti kogutud sisu tohib kasutada Gemini mudelites. Roomamine ja järjestus Google'i otsingus jäävad samaks.

Kus peab fail asuma?

Hosti juurkaustas aadressil /robots.txt — näiteks https://example.com/robots.txt. Alamkaustas olevat faili eiratakse ja iga alamdomeen vajab oma faili.

Mis on rida Content-Signal?

Aadressil contentsignals.org avaldatud ettepanek märkida, kuidas sisu tohib pärast kogumist kasutada: otsingutulemusteks, tehisintellekti vastuste sisendiks või tehisintellekti treenimiseks. See väljendab teie soovi; kas roomaja seda arvestab, otsustab selle haldaja.

Kas minu sisestatud andmed saadetakse kuhugi?

Ei. Generaator töötab täielikult teie brauseris. Midagi sellest, mida sisestate, ei edastata ega salvestata.

Kui robotid eiravad teie robots.txt-faili

SilentShield hindab serveris teie vormide saatmisi nende eelnenud käitumise põhjal — vaikimisi ilma ülesandeta teie külastajatele.