Pasiūlymas naujiems klientams−20 %20 % nuolaida pirmiems 3 mėnesiams mokant kas mėnesįŽiūrėti planus
SilentShield

Nemokamas įrankis

robots.txt generatorius

Nuspręskite, kurie robotai gali skaityti jūsų svetainę: paieškos sistemos, DI mokymo robotai, DI paieška ir asistentai, kurie naudotojo vardu atsisiunčia puslapius. Failas sukuriamas jūsų naršyklėje — mums nieko nesiunčiama.

Trumpai

robots.txt yra prašymas, o ne spyna. Didžiosios paieškos sistemos ir DI paslaugų teikėjai skelbia savo robotų pavadinimus ir teigia, kad jie laikosi šio failo; turinio rinkikams ir šlamšto robotams to daryti nebūtina. Naudokite jį, kad sąžiningiems robotams nurodytumėte, ką jie gali skaityti, o visa kita tikrinkite serveryje.

Pradinis taškas

Kurie robotai turi likti už durų?

Pažymėti robotai gauna Disallow: /. Visi kiti laikosi taisyklių, galiojančių visiems robotams, įskaitant toliau nurodytus kelius.

Paieškos sistemos

Indeksuoja jūsų puslapius klasikinei paieškai. Juos užblokavus, svetainė dingsta iš jų rezultatų.

DI mokymas ir duomenų rinkimas

Renka turinį DI modeliams mokyti. Google-Extended ir Applebot-Extended nėra atskiri robotai: jie tik nustato, ar Google ir Apple gali naudoti surinktą turinį savo DI modeliams. Paieška nuo to nepasikeičia.

DI paieška

Indeksuoja puslapius, kad DI paieška galėtų juos rodyti ir cituoti kaip šaltinį.

Naudotojo vardu veikiantys asistentai

Atsisiunčia puslapį, kai kas nors asistento apie jį paklausia. Kai kurie paslaugų teikėjai nurodo, kad robots.txt taisyklės šioms užklausoms gali negalioti.

Kiekviena eilutė prasideda /, pavyzdžiui, /admin/ arba /krepselis/. Ženklas * reiškia bet kokius simbolius.

Visas jūsų XML svetainės žemėlapio adresas, prasidedantis https://.

Turinio signalai (neprivaloma)

Content-Signal eilutė (contentsignals.org) nurodo, kaip turinį galima naudoti jį surinkus. Ne kiekvienas robotas ją skaito.

Kaip paskelbti failą

  1. 1Viršuje pasirinkite robotus ir kelius, tada nukopijuokite rezultatą.
  2. 2Išsaugokite jį kaip paprastą tekstinį failą pavadinimu robots.txt (UTF-8).
  3. 3Įkelkite jį į savo domeno šakninį katalogą, kad jis atsidarytų adresu https://jusu-domenas/robots.txt. Kiekvienam subdomenui reikia atskiro failo.
  4. 4Atidarykite šį adresą naršyklėje ir patikrinkite, ar rodomas būtent šis tekstas. Jei jūsų prieglobos teikėjas arba CDN prideda savo taisyklių, jas taip pat pamatysite.

Ko robots.txt negali

  • Jis nieko neapsaugo. Užblokuotą kelią vis tiek gali atidaryti bet kas, o failas yra viešas: jame net išvardyti keliai, kuriuos norėtumėte paslėpti.
  • Jis nesustabdo robotų, kurie jį ignoruoja, — o būtent iš jų kyla formų šlamštas ir automatinės registracijos.
  • Užblokuotas puslapis vis tiek gali atsirasti paieškos rezultatuose, jei į jį nukreipia kitos svetainės. Norėdami puslapį laikyti už indekso ribų, leiskite jį nuskaityti ir naudokite noindex.

Dažniausiai užduodami klausimai

Ar robots.txt blokuoja robotus?

Ne. Tai prašymas, kurio laikosi sąžiningi robotai. Turinio rinkikai, šlamšto robotai ir daugelis automatinių įrankių jį ignoruoja. Kad juos sustabdytumėte, reikia patikros serveryje, pavyzdžiui, užklausų ribojimo arba formų apsaugos nuo robotų.

Jei užblokuosiu GPTBot, ar mano svetainė dings iš ChatGPT?

Nebūtinai. OpenAI naudoja atskirus pavadinimus: GPTBot mokymui, OAI-SearchBot paieškai ChatGPT ir ChatGPT-User, kai naudotojas klausia apie puslapį. Užblokavus vieną, kiti lieka nepaliesti. Anthropic ir Perplexity šiems tikslams taip pat naudoja atskirus pavadinimus.

Ar Google-Extended blokavimas paveikia mano pozicijas Google?

Pasak Google, ne. Google-Extended tik nustato, ar Googlebot surinktą turinį galima naudoti Gemini modeliams. Nuskaitymas ir reitingavimas Google paieškoje nesikeičia.

Kur turi būti failas?

Prieglobos šakniniame kataloge, adresu /robots.txt, pavyzdžiui, https://example.com/robots.txt. Poaplankyje esantis failas ignoruojamas, o kiekvienam subdomenui reikia savo.

Kas yra Content-Signal eilutė?

Svetainėje contentsignals.org paskelbtas pasiūlymas nurodyti, kaip turinį galima naudoti jį surinkus: paieškos rezultatams, kaip įvestį DI atsakymams arba DI mokymui. Ji išreiškia jūsų pageidavimą; ar robotas jo paisys, sprendžia jo valdytojas.

Ar mano įvesti duomenys kur nors siunčiami?

Ne. Generatorius visiškai veikia jūsų naršyklėje. Niekas iš to, ką įvedate, neperduodama ir nesaugoma.

Kai robotai ignoruoja jūsų robots.txt

SilentShield serveryje įvertina jūsų formų pateikimus pagal elgseną, kuri prie jų atvedė, — pagal numatytuosius nustatymus be jokios užduoties lankytojams.