Offerta għal klijenti ġodda−20 %20 % skont għall-ewwel 3 xhur bi ħlas kull xaharAra l-pjanijiet
SilentShield

Għodda b'xejn

Ġeneratur tar-robots.txt

Iddeċiedi liema crawlers jistgħu jaqraw is-sit tiegħek: magni tat-tiftix, crawlers tat-taħriġ tal-IA, tiftix bl-IA u assistenti li jiġbdu paġni f'isem utent. Il-fajl jinħoloq fil-browser tiegħek — xejn ma jintbagħtilna.

Fil-qosor

Ir-robots.txt hu talba, mhux serratura. Il-magni tat-tiftix u l-fornituri tal-IA l-kbar jippubblikaw l-ismijiet tal-crawlers tagħhom u jgħidu li jsegwu l-fajl; l-iscrapers u l-bots tal-ispam m'għandhomx obbligu. Użah biex tgħid lill-crawlers li jġibu ruħhom sew x'jistgħu jaqraw, u ivverifika l-bqija kollha fuq is-server.

Punt tat-tluq

Liema crawlers għandhom jibqgħu barra?

Il-crawlers immarkati jirċievu Disallow: /. Il-bqija kollha jsegwu r-regoli għall-crawlers kollha, inklużi l-mogħdijiet aktar 'l isfel.

Magni tat-tiftix

Jindiċjaw il-paġni tiegħek għat-tiftix klassiku. Jekk timblokkahom, is-sit tiegħek jispiċċa mir-riżultati tagħhom.

Taħriġ tal-IA u ġbir tad-data

Jiġbru kontenut biex jitħarrġu mudelli tal-IA. Google-Extended u Applebot-Extended mhumiex crawlers separati: jikkontrollaw biss jekk Google u Apple jistgħux jużaw il-kontenut miġbur għall-mudelli tal-IA tagħhom. It-tiftix ma jintmessx.

Tiftix bl-IA

Jindiċjaw paġni biex it-tiftix bl-IA jkun jista' jurihom u jikkwotahom bħala sors.

Assistenti li jaġixxu għal utent

Jiġbdu paġna meta xi ħadd jistaqsi lil assistent dwarha. Xi fornituri jgħidu li r-regoli tar-robots.txt jistgħu ma japplikawx għal dawn it-talbiet.

Kull linja tibda b' /, pereżempju /admin/ jew /karrettun/. Asterisk (*) ifisser kwalunkwe karattri.

L-indirizz sħiħ tas-sitemap XML tiegħek, li jibda b' https://.

Sinjali tal-kontenut (mhux obbligatorju)

Linja Content-Signal (contentsignals.org) tgħid kif jista' jintuża l-kontenut wara l-crawling. Mhux kull crawler jaqraha.

Kif tpoġġi l-fajl online

  1. 1Agħżel il-crawlers u l-mogħdijiet hawn fuq u kkopja r-riżultat.
  2. 2Issejvjah bħala fajl tat-test sempliċi bl-isem robots.txt (UTF-8).
  3. 3Tellgħu fl-għerq tad-dominju tiegħek, biex jinfetaħ fuq https://id-dominju-tiegħek/robots.txt. Kull subdominju jeħtieġ il-fajl tiegħu.
  4. 4Iftaħ dak l-indirizz fil-browser u ivverifika li jidher eżattament dan it-test. Jekk il-provditur tal-hosting jew is-CDN tiegħek iżidu regoli tagħhom, se tarahom hemm ukoll.

X'ma jistax jagħmel ir-robots.txt

  • Ma jipproteġi xejn. Kulħadd xorta jista' jiftaħ mogħdija mblukkata, u l-fajl hu pubbliku: saħansitra jelenka l-mogħdijiet li tippreferi taħbi.
  • Ma jwaqqafx il-bots li jinjorawh — u eżatt minnhom jiġu l-ispam fil-formoli u r-reġistrazzjonijiet awtomatizzati.
  • Paġna mblukkata xorta tista' tidher fir-riżultati tat-tiftix jekk siti oħra jorbtu magħha. Biex iżżomm paġna barra mill-indiċi, ippermetti l-crawling u uża noindex.

Mistoqsijiet frekwenti

Ir-robots.txt jimblokka l-bots?

Le. Hu talba li l-crawlers li jġibu ruħhom sew isegwu. L-iscrapers, il-bots tal-ispam u ħafna għodod awtomatizzati jinjorawh. Biex twaqqafhom hemm bżonn kontroll fuq is-server, pereżempju limiti tar-rata jew protezzjoni kontra l-bots fuq il-formoli tiegħek.

Jekk nimblokka GPTBot, is-sit tiegħi jisparixxi minn ChatGPT?

Mhux neċessarjament. OpenAI tuża ismijiet separati: GPTBot għat-taħriġ, OAI-SearchBot għat-tiftix f'ChatGPT u ChatGPT-User meta utent jistaqsi dwar paġna. Jekk timblokka wieħed, l-oħrajn ma jintmessux. Anthropic u Perplexity ukoll jużaw ismijiet separati għal dawn l-għanijiet.

L-imblukkar ta' Google-Extended jaffettwa l-pożizzjoni tiegħi f'Google?

Skont Google, le. Google-Extended jikkontrolla biss jekk il-kontenut miġbur minn Googlebot jistax jintuża għall-mudelli Gemini. Il-crawling u l-pożizzjoni fi Google Search jibqgħu l-istess.

Fejn irid ikun il-fajl?

Fl-għerq tal-host, f' /robots.txt — pereżempju https://example.com/robots.txt. Fajl f'subfolder jiġi injorat, u kull subdominju jeħtieġ tiegħu.

X'inhi l-linja Content-Signal?

Proposta ppubblikata fuq contentsignals.org biex tgħid kif jista' jintuża l-kontenut ladarba jinġabar: għar-riżultati tat-tiftix, bħala input għal tweġibiet tal-IA jew għat-taħriġ tal-IA. Tesprimi x-xewqa tiegħek; jekk crawler jirrispettahiex jiddeċiedi l-operatur tiegħu.

Id-dħul tiegħi jintbagħat xi mkien?

Le. Il-ġeneratur jaħdem kollu fil-browser tiegħek. Xejn minn dak li tdaħħal ma jiġi trażmess jew maħżun.

Meta l-bots jinjoraw ir-robots.txt tiegħek

SilentShield jivvaluta fuq is-server is-sottomissjonijiet tal-formoli tiegħek skont l-imġiba li wasslet għalihom — awtomatikament mingħajr kompitu għall-viżitaturi tiegħek.