Għodda b'xejn
Ġeneratur tar-robots.txt
Iddeċiedi liema crawlers jistgħu jaqraw is-sit tiegħek: magni tat-tiftix, crawlers tat-taħriġ tal-IA, tiftix bl-IA u assistenti li jiġbdu paġni f'isem utent. Il-fajl jinħoloq fil-browser tiegħek — xejn ma jintbagħtilna.
Fil-qosor
Ir-robots.txt hu talba, mhux serratura. Il-magni tat-tiftix u l-fornituri tal-IA l-kbar jippubblikaw l-ismijiet tal-crawlers tagħhom u jgħidu li jsegwu l-fajl; l-iscrapers u l-bots tal-ispam m'għandhomx obbligu. Użah biex tgħid lill-crawlers li jġibu ruħhom sew x'jistgħu jaqraw, u ivverifika l-bqija kollha fuq is-server.
Punt tat-tluq
Liema crawlers għandhom jibqgħu barra?
Il-crawlers immarkati jirċievu Disallow: /. Il-bqija kollha jsegwu r-regoli għall-crawlers kollha, inklużi l-mogħdijiet aktar 'l isfel.
Kull linja tibda b' /, pereżempju /admin/ jew /karrettun/. Asterisk (*) ifisser kwalunkwe karattri.
L-indirizz sħiħ tas-sitemap XML tiegħek, li jibda b' https://.
Kif tpoġġi l-fajl online
- 1Agħżel il-crawlers u l-mogħdijiet hawn fuq u kkopja r-riżultat.
- 2Issejvjah bħala fajl tat-test sempliċi bl-isem robots.txt (UTF-8).
- 3Tellgħu fl-għerq tad-dominju tiegħek, biex jinfetaħ fuq https://id-dominju-tiegħek/robots.txt. Kull subdominju jeħtieġ il-fajl tiegħu.
- 4Iftaħ dak l-indirizz fil-browser u ivverifika li jidher eżattament dan it-test. Jekk il-provditur tal-hosting jew is-CDN tiegħek iżidu regoli tagħhom, se tarahom hemm ukoll.
X'ma jistax jagħmel ir-robots.txt
- Ma jipproteġi xejn. Kulħadd xorta jista' jiftaħ mogħdija mblukkata, u l-fajl hu pubbliku: saħansitra jelenka l-mogħdijiet li tippreferi taħbi.
- Ma jwaqqafx il-bots li jinjorawh — u eżatt minnhom jiġu l-ispam fil-formoli u r-reġistrazzjonijiet awtomatizzati.
- Paġna mblukkata xorta tista' tidher fir-riżultati tat-tiftix jekk siti oħra jorbtu magħha. Biex iżżomm paġna barra mill-indiċi, ippermetti l-crawling u uża noindex.
Mistoqsijiet frekwenti
Ir-robots.txt jimblokka l-bots?
Le. Hu talba li l-crawlers li jġibu ruħhom sew isegwu. L-iscrapers, il-bots tal-ispam u ħafna għodod awtomatizzati jinjorawh. Biex twaqqafhom hemm bżonn kontroll fuq is-server, pereżempju limiti tar-rata jew protezzjoni kontra l-bots fuq il-formoli tiegħek.
Jekk nimblokka GPTBot, is-sit tiegħi jisparixxi minn ChatGPT?
Mhux neċessarjament. OpenAI tuża ismijiet separati: GPTBot għat-taħriġ, OAI-SearchBot għat-tiftix f'ChatGPT u ChatGPT-User meta utent jistaqsi dwar paġna. Jekk timblokka wieħed, l-oħrajn ma jintmessux. Anthropic u Perplexity ukoll jużaw ismijiet separati għal dawn l-għanijiet.
L-imblukkar ta' Google-Extended jaffettwa l-pożizzjoni tiegħi f'Google?
Skont Google, le. Google-Extended jikkontrolla biss jekk il-kontenut miġbur minn Googlebot jistax jintuża għall-mudelli Gemini. Il-crawling u l-pożizzjoni fi Google Search jibqgħu l-istess.
Fejn irid ikun il-fajl?
Fl-għerq tal-host, f' /robots.txt — pereżempju https://example.com/robots.txt. Fajl f'subfolder jiġi injorat, u kull subdominju jeħtieġ tiegħu.
X'inhi l-linja Content-Signal?
Proposta ppubblikata fuq contentsignals.org biex tgħid kif jista' jintuża l-kontenut ladarba jinġabar: għar-riżultati tat-tiftix, bħala input għal tweġibiet tal-IA jew għat-taħriġ tal-IA. Tesprimi x-xewqa tiegħek; jekk crawler jirrispettahiex jiddeċiedi l-operatur tiegħu.
Id-dħul tiegħi jintbagħat xi mkien?
Le. Il-ġeneratur jaħdem kollu fil-browser tiegħek. Xejn minn dak li tdaħħal ma jiġi trażmess jew maħżun.
Meta l-bots jinjoraw ir-robots.txt tiegħek
SilentShield jivvaluta fuq is-server is-sottomissjonijiet tal-formoli tiegħek skont l-imġiba li wasslet għalihom — awtomatikament mingħajr kompitu għall-viżitaturi tiegħek.