Tasuta tööriist
robots.txt generaator
Otsustage, millised roomajad tohivad teie veebisaiti lugeda: otsingumootorid, tehisintellekti treenimise roomajad, tehisintellektiga otsing ja assistendid, mis laadivad lehti kasutaja nimel. Fail luuakse teie brauseris — meile ei saadeta midagi.
Lühidalt
robots.txt on palve, mitte lukk. Suured otsingumootorid ja tehisintellekti pakkujad avaldavad oma roomajate nimed ja kinnitavad, et need järgivad faili; kraapijad ja rämpspostirobotid ei pea seda tegema. Kasutage seda, et öelda korralikele roomajatele, mida nad lugeda tohivad, ja kontrollige kõike muud serveris.
Lähtekoht
Millised roomajad peavad jääma välja?
Märgitud roomajad saavad rea Disallow: /. Kõik teised järgivad kõigi roomajate reegleid, sealhulgas allpool olevaid teid.
Iga rida algab märgiga /, näiteks /admin/ või /ostukorv/. Märk * tähistab suvalisi märke.
Teie XML-saidikaardi täielik aadress, mis algab https://.
Kuidas fail avaldada
- 1Valige ülal roomajad ja teed ning kopeerige tulemus.
- 2Salvestage see lihttekstifailina nimega robots.txt (UTF-8).
- 3Laadige see oma domeeni juurkausta nii, et see avaneks aadressil https://teie-domeen/robots.txt. Iga alamdomeen vajab oma faili.
- 4Avage see aadress brauseris ja kontrollige, kas kuvatakse täpselt see tekst. Kui teie majutuse pakkuja või CDN lisab oma reegleid, näete neid ka seal.
Mida robots.txt teha ei suuda
- See ei kaitse midagi. Blokeeritud teed saab endiselt igaüks avada ja fail on avalik: see loetleb isegi teed, mida te pigem peidaksite.
- See ei peata roboteid, mis seda eiravad — ja just neilt pärinevad vormide rämpspost ja automaatsed registreerimised.
- Blokeeritud leht võib siiski otsingutulemustes ilmuda, kui teised saidid sellele viitavad. Lehe indeksist väljas hoidmiseks lubage selle laadimine ja kasutage noindex-märget.
Korduma kippuvad küsimused
Kas robots.txt blokeerib roboteid?
Ei. See on palve, mida korralikud roomajad järgivad. Kraapijad, rämpspostirobotid ja paljud automaatsed tööriistad eiravad seda. Nende peatamiseks on vaja kontrolli serveris, näiteks päringute piiranguid või vormide kaitset robotite eest.
Kas minu sait kaob ChatGPT-st, kui blokeerin GPTBoti?
Mitte tingimata. OpenAI kasutab eraldi nimesid: GPTBot treenimiseks, OAI-SearchBot ChatGPT otsingu jaoks ja ChatGPT-User, kui kasutaja küsib mõne lehe kohta. Ühe blokeerimine teisi ei mõjuta. Ka Anthropic ja Perplexity kasutavad nendeks eesmärkideks eraldi nimesid.
Kas Google-Extendedi blokeerimine mõjutab minu kohta Google'is?
Google'i sõnul mitte. Google-Extended määrab ainult, kas Googleboti kogutud sisu tohib kasutada Gemini mudelites. Roomamine ja järjestus Google'i otsingus jäävad samaks.
Kus peab fail asuma?
Hosti juurkaustas aadressil /robots.txt — näiteks https://example.com/robots.txt. Alamkaustas olevat faili eiratakse ja iga alamdomeen vajab oma faili.
Mis on rida Content-Signal?
Aadressil contentsignals.org avaldatud ettepanek märkida, kuidas sisu tohib pärast kogumist kasutada: otsingutulemusteks, tehisintellekti vastuste sisendiks või tehisintellekti treenimiseks. See väljendab teie soovi; kas roomaja seda arvestab, otsustab selle haldaja.
Kas minu sisestatud andmed saadetakse kuhugi?
Ei. Generaator töötab täielikult teie brauseris. Midagi sellest, mida sisestate, ei edastata ega salvestata.
Kui robotid eiravad teie robots.txt-faili
SilentShield hindab serveris teie vormide saatmisi nende eelnenud käitumise põhjal — vaikimisi ilma ülesandeta teie külastajatele.