Bezmaksas rīks
robots.txt ģenerators
Izlemiet, kuras rāpuļprogrammas drīkst lasīt jūsu vietni: meklētājprogrammas, MI apmācības rāpuļprogrammas, MI meklēšana un asistenti, kas lietotāja vārdā ielādē lapas. Fails tiek izveidots jūsu pārlūkprogrammā — mums nekas netiek nosūtīts.
Īsumā
robots.txt ir lūgums, nevis slēdzene. Lielās meklētājprogrammas un MI pakalpojumu sniedzēji publicē savu rāpuļprogrammu nosaukumus un apgalvo, ka tās ievēro šo failu; satura vācējiem un surogātpasta robotiem tas nav jādara. Izmantojiet to, lai godprātīgām rāpuļprogrammām norādītu, ko tās drīkst lasīt, bet visu pārējo pārbaudiet serverī.
Sākumpunkts
Kurām rāpuļprogrammām jāpaliek ārā?
Atzīmētās rāpuļprogrammas saņem Disallow: /. Visas pārējās ievēro noteikumus visām rāpuļprogrammām, tostarp tālāk norādītos ceļus.
Katra rinda sākas ar /, piemēram, /admin/ vai /grozs/. Zīme * apzīmē jebkādas rakstzīmes.
Pilna jūsu XML vietnes kartes adrese, kas sākas ar https://.
Kā publicēt failu
- 1Augstāk izvēlieties rāpuļprogrammas un ceļus un nokopējiet rezultātu.
- 2Saglabājiet to kā vienkāršu teksta failu ar nosaukumu robots.txt (UTF-8).
- 3Augšupielādējiet to sava domēna saknē, lai tas atvērtos adresē https://jusu-domens/robots.txt. Katram apakšdomēnam vajadzīgs savs fails.
- 4Atveriet šo adresi pārlūkprogrammā un pārbaudiet, vai parādās tieši šis teksts. Ja jūsu mitināšanas pakalpojums vai CDN pievieno savus noteikumus, tos redzēsiet arī tur.
Ko robots.txt nespēj
- Tas neko neaizsargā. Bloķētu ceļu joprojām var atvērt jebkurš, un fails ir publisks: tajā pat uzskaitīti ceļi, kurus jūs labprātāk paslēptu.
- Tas neaptur robotus, kas to ignorē, — un tieši no tiem nāk veidlapu surogātpasts un automātiskas reģistrācijas.
- Bloķēta lapa tomēr var parādīties meklēšanas rezultātos, ja uz to ved saites no citām vietnēm. Lai lapu noturētu ārpus indeksa, atļaujiet tās ielādi un izmantojiet noindex.
Biežāk uzdotie jautājumi
Vai robots.txt bloķē robotus?
Nē. Tas ir lūgums, ko ievēro godprātīgas rāpuļprogrammas. Satura vācēji, surogātpasta roboti un daudzi automatizēti rīki to ignorē. Lai tos apturētu, vajadzīga pārbaude serverī, piemēram, pieprasījumu ierobežojumi vai veidlapu aizsardzība pret robotiem.
Ja bloķēšu GPTBot, vai mana vietne pazudīs no ChatGPT?
Ne obligāti. OpenAI izmanto atsevišķus nosaukumus: GPTBot apmācībai, OAI-SearchBot meklēšanai ChatGPT un ChatGPT-User, kad lietotājs jautā par lapu. Viena bloķēšana neietekmē pārējos. Arī Anthropic un Perplexity šiem mērķiem izmanto atsevišķus nosaukumus.
Vai Google-Extended bloķēšana ietekmē manu vietu Google?
Pēc Google teiktā, nē. Google-Extended tikai nosaka, vai Googlebot savākto saturu drīkst izmantot Gemini modeļiem. Ielāde un vieta Google meklēšanā paliek nemainīga.
Kur jāatrodas failam?
Resursdatora saknē, adresē /robots.txt, piemēram, https://example.com/robots.txt. Apakšmapē esošs fails tiek ignorēts, un katram apakšdomēnam vajadzīgs savs.
Kas ir Content-Signal rinda?
Vietnē contentsignals.org publicēts priekšlikums norādīt, kā saturu drīkst izmantot pēc tā savākšanas: meklēšanas rezultātiem, kā ievadi MI atbildēm vai MI apmācībai. Tā pauž jūsu vēlmi; vai rāpuļprogramma to ievēro, izlemj tās operators.
Vai mani ievadītie dati kaut kur tiek nosūtīti?
Nē. Ģenerators pilnībā darbojas jūsu pārlūkprogrammā. Nekas no jūsu ievadītā netiek pārsūtīts vai saglabāts.
Kad roboti ignorē jūsu robots.txt
SilentShield serverī novērtē jūsu veidlapu iesniegumus pēc uzvedības, kas pie tiem noveda, — pēc noklusējuma bez uzdevuma jūsu apmeklētājiem.