Nemokamas įrankis
robots.txt generatorius
Nuspręskite, kurie robotai gali skaityti jūsų svetainę: paieškos sistemos, DI mokymo robotai, DI paieška ir asistentai, kurie naudotojo vardu atsisiunčia puslapius. Failas sukuriamas jūsų naršyklėje — mums nieko nesiunčiama.
Trumpai
robots.txt yra prašymas, o ne spyna. Didžiosios paieškos sistemos ir DI paslaugų teikėjai skelbia savo robotų pavadinimus ir teigia, kad jie laikosi šio failo; turinio rinkikams ir šlamšto robotams to daryti nebūtina. Naudokite jį, kad sąžiningiems robotams nurodytumėte, ką jie gali skaityti, o visa kita tikrinkite serveryje.
Pradinis taškas
Kurie robotai turi likti už durų?
Pažymėti robotai gauna Disallow: /. Visi kiti laikosi taisyklių, galiojančių visiems robotams, įskaitant toliau nurodytus kelius.
Kiekviena eilutė prasideda /, pavyzdžiui, /admin/ arba /krepselis/. Ženklas * reiškia bet kokius simbolius.
Visas jūsų XML svetainės žemėlapio adresas, prasidedantis https://.
Kaip paskelbti failą
- 1Viršuje pasirinkite robotus ir kelius, tada nukopijuokite rezultatą.
- 2Išsaugokite jį kaip paprastą tekstinį failą pavadinimu robots.txt (UTF-8).
- 3Įkelkite jį į savo domeno šakninį katalogą, kad jis atsidarytų adresu https://jusu-domenas/robots.txt. Kiekvienam subdomenui reikia atskiro failo.
- 4Atidarykite šį adresą naršyklėje ir patikrinkite, ar rodomas būtent šis tekstas. Jei jūsų prieglobos teikėjas arba CDN prideda savo taisyklių, jas taip pat pamatysite.
Ko robots.txt negali
- Jis nieko neapsaugo. Užblokuotą kelią vis tiek gali atidaryti bet kas, o failas yra viešas: jame net išvardyti keliai, kuriuos norėtumėte paslėpti.
- Jis nesustabdo robotų, kurie jį ignoruoja, — o būtent iš jų kyla formų šlamštas ir automatinės registracijos.
- Užblokuotas puslapis vis tiek gali atsirasti paieškos rezultatuose, jei į jį nukreipia kitos svetainės. Norėdami puslapį laikyti už indekso ribų, leiskite jį nuskaityti ir naudokite noindex.
Dažniausiai užduodami klausimai
Ar robots.txt blokuoja robotus?
Ne. Tai prašymas, kurio laikosi sąžiningi robotai. Turinio rinkikai, šlamšto robotai ir daugelis automatinių įrankių jį ignoruoja. Kad juos sustabdytumėte, reikia patikros serveryje, pavyzdžiui, užklausų ribojimo arba formų apsaugos nuo robotų.
Jei užblokuosiu GPTBot, ar mano svetainė dings iš ChatGPT?
Nebūtinai. OpenAI naudoja atskirus pavadinimus: GPTBot mokymui, OAI-SearchBot paieškai ChatGPT ir ChatGPT-User, kai naudotojas klausia apie puslapį. Užblokavus vieną, kiti lieka nepaliesti. Anthropic ir Perplexity šiems tikslams taip pat naudoja atskirus pavadinimus.
Ar Google-Extended blokavimas paveikia mano pozicijas Google?
Pasak Google, ne. Google-Extended tik nustato, ar Googlebot surinktą turinį galima naudoti Gemini modeliams. Nuskaitymas ir reitingavimas Google paieškoje nesikeičia.
Kur turi būti failas?
Prieglobos šakniniame kataloge, adresu /robots.txt, pavyzdžiui, https://example.com/robots.txt. Poaplankyje esantis failas ignoruojamas, o kiekvienam subdomenui reikia savo.
Kas yra Content-Signal eilutė?
Svetainėje contentsignals.org paskelbtas pasiūlymas nurodyti, kaip turinį galima naudoti jį surinkus: paieškos rezultatams, kaip įvestį DI atsakymams arba DI mokymui. Ji išreiškia jūsų pageidavimą; ar robotas jo paisys, sprendžia jo valdytojas.
Ar mano įvesti duomenys kur nors siunčiami?
Ne. Generatorius visiškai veikia jūsų naršyklėje. Niekas iš to, ką įvedate, neperduodama ir nesaugoma.
Kai robotai ignoruoja jūsų robots.txt
SilentShield serveryje įvertina jūsų formų pateikimus pagal elgseną, kuri prie jų atvedė, — pagal numatytuosius nustatymus be jokios užduoties lankytojams.