Ofertă pentru clienți noi−20 %20 % reducere în primele 3 luni cu plata lunarăVedeți planurile
SilentShield

Instrument gratuit

Generator robots.txt

Decideți ce crawlere pot citi site-ul dumneavoastră: motoare de căutare, crawlere de antrenare AI, căutare cu AI și asistenți care preiau pagini în numele unui utilizator. Fișierul este creat în browserul dumneavoastră — nu ni se trimite nimic.

Pe scurt

Fișierul robots.txt este o rugăminte, nu un lacăt. Marile motoare de căutare și furnizori de AI publică numele crawlerelor lor și declară că acestea respectă fișierul; scraperele și boții de spam nu sunt obligați. Folosiți-l pentru a le spune crawlerelor corecte ce pot citi și verificați restul pe server.

Punct de plecare

Ce crawlere trebuie să rămână afară?

Crawlerele bifate primesc Disallow: /. Toate celelalte urmează regulile pentru toate crawlerele, inclusiv căile de mai jos.

Motoare de căutare

Indexează paginile dumneavoastră pentru căutarea clasică. Blocarea lor scoate site-ul din rezultatele lor.

Antrenare AI și colectare de date

Colectează conținut pentru antrenarea modelelor AI. Google-Extended și Applebot-Extended nu sunt crawlere separate: ele stabilesc doar dacă Google și Apple pot folosi conținutul preluat pentru modelele lor AI. Căutarea nu este afectată.

Căutare cu AI

Indexează pagini pentru ca acestea să poată fi afișate și citate ca sursă în căutarea cu AI.

Asistenți care acționează pentru un utilizator

Preiau o pagină atunci când cineva întreabă un asistent despre ea. Unii furnizori precizează că regulile din robots.txt s-ar putea să nu se aplice acestor cereri.

Fiecare rând începe cu /, de exemplu /admin/ sau /cos/. Un * înlocuiește orice caractere.

Adresa completă a sitemap-ului XML, care începe cu https://.

Semnale de conținut (opțional)

Un rând Content-Signal (contentsignals.org) indică modul în care conținutul poate fi folosit după preluare. Nu toate crawlerele îl citesc.

Cum publicați fișierul

  1. 1Alegeți mai sus crawlerele și căile, apoi copiați rezultatul.
  2. 2Salvați-l ca fișier text simplu cu numele robots.txt (UTF-8).
  3. 3Încărcați-l în rădăcina domeniului, astfel încât să se deschidă la https://domeniul-dumneavoastra/robots.txt. Fiecare subdomeniu are nevoie de propriul fișier.
  4. 4Deschideți adresa în browser și verificați că apare exact acest text. Dacă furnizorul de găzduire sau CDN-ul adaugă reguli proprii, le veți vedea și acolo.

Ce nu poate face robots.txt

  • Nu protejează nimic. Oricine poate deschide în continuare o cale blocată, iar fișierul este public: enumeră chiar și căile pe care ați prefera să le ascundeți.
  • Nu oprește boții care îl ignoră — iar spamul din formulare și înregistrările automate provin exact de la aceștia.
  • O pagină blocată poate apărea totuși în rezultatele căutării dacă alte site-uri trimit către ea. Pentru a ține o pagină în afara indexului, permiteți preluarea și folosiți noindex.

Întrebări frecvente

Blochează robots.txt boții?

Nu. Este o rugăminte pe care o respectă crawlerele corecte. Scraperele, boții de spam și multe instrumente automate o ignoră. Pentru a-i opri este nevoie de o verificare pe server, de exemplu limitarea numărului de cereri sau protecție anti-bot pe formulare.

Dacă blochez GPTBot, dispare site-ul meu din ChatGPT?

Nu neapărat. OpenAI folosește nume separate: GPTBot pentru antrenare, OAI-SearchBot pentru căutarea din ChatGPT și ChatGPT-User când un utilizator întreabă despre o pagină. Blocarea unuia nu îi afectează pe ceilalți. Și Anthropic, și Perplexity folosesc nume separate pentru aceste scopuri.

Blocarea Google-Extended îmi afectează poziția în Google?

Potrivit Google, nu. Google-Extended stabilește doar dacă un conținut preluat de Googlebot poate fi folosit pentru modelele Gemini. Preluarea și clasarea în Căutarea Google rămân neschimbate.

Unde trebuie să se afle fișierul?

În rădăcina gazdei, la /robots.txt — de exemplu https://example.com/robots.txt. Un fișier dintr-un subdosar este ignorat, iar fiecare subdomeniu are nevoie de al său.

Ce este rândul Content-Signal?

O propunere publicată pe contentsignals.org pentru a indica modul în care conținutul poate fi folosit după preluare: pentru rezultate de căutare, ca date de intrare pentru răspunsuri AI sau pentru antrenarea AI. Exprimă dorința dumneavoastră; dacă un crawler o respectă depinde de operatorul său.

Datele introduse sunt trimise undeva?

Nu. Generatorul rulează în întregime în browserul dumneavoastră. Nimic din ce introduceți nu este transmis sau salvat.

Când boții vă ignoră fișierul robots.txt

SilentShield evaluează pe server trimiterile din formularele dumneavoastră după comportamentul care le-a precedat — implicit fără nicio sarcină pentru vizitatori.