Instrument gratuit
Generator robots.txt
Decideți ce crawlere pot citi site-ul dumneavoastră: motoare de căutare, crawlere de antrenare AI, căutare cu AI și asistenți care preiau pagini în numele unui utilizator. Fișierul este creat în browserul dumneavoastră — nu ni se trimite nimic.
Pe scurt
Fișierul robots.txt este o rugăminte, nu un lacăt. Marile motoare de căutare și furnizori de AI publică numele crawlerelor lor și declară că acestea respectă fișierul; scraperele și boții de spam nu sunt obligați. Folosiți-l pentru a le spune crawlerelor corecte ce pot citi și verificați restul pe server.
Punct de plecare
Ce crawlere trebuie să rămână afară?
Crawlerele bifate primesc Disallow: /. Toate celelalte urmează regulile pentru toate crawlerele, inclusiv căile de mai jos.
Fiecare rând începe cu /, de exemplu /admin/ sau /cos/. Un * înlocuiește orice caractere.
Adresa completă a sitemap-ului XML, care începe cu https://.
Cum publicați fișierul
- 1Alegeți mai sus crawlerele și căile, apoi copiați rezultatul.
- 2Salvați-l ca fișier text simplu cu numele robots.txt (UTF-8).
- 3Încărcați-l în rădăcina domeniului, astfel încât să se deschidă la https://domeniul-dumneavoastra/robots.txt. Fiecare subdomeniu are nevoie de propriul fișier.
- 4Deschideți adresa în browser și verificați că apare exact acest text. Dacă furnizorul de găzduire sau CDN-ul adaugă reguli proprii, le veți vedea și acolo.
Ce nu poate face robots.txt
- Nu protejează nimic. Oricine poate deschide în continuare o cale blocată, iar fișierul este public: enumeră chiar și căile pe care ați prefera să le ascundeți.
- Nu oprește boții care îl ignoră — iar spamul din formulare și înregistrările automate provin exact de la aceștia.
- O pagină blocată poate apărea totuși în rezultatele căutării dacă alte site-uri trimit către ea. Pentru a ține o pagină în afara indexului, permiteți preluarea și folosiți noindex.
Întrebări frecvente
Blochează robots.txt boții?
Nu. Este o rugăminte pe care o respectă crawlerele corecte. Scraperele, boții de spam și multe instrumente automate o ignoră. Pentru a-i opri este nevoie de o verificare pe server, de exemplu limitarea numărului de cereri sau protecție anti-bot pe formulare.
Dacă blochez GPTBot, dispare site-ul meu din ChatGPT?
Nu neapărat. OpenAI folosește nume separate: GPTBot pentru antrenare, OAI-SearchBot pentru căutarea din ChatGPT și ChatGPT-User când un utilizator întreabă despre o pagină. Blocarea unuia nu îi afectează pe ceilalți. Și Anthropic, și Perplexity folosesc nume separate pentru aceste scopuri.
Blocarea Google-Extended îmi afectează poziția în Google?
Potrivit Google, nu. Google-Extended stabilește doar dacă un conținut preluat de Googlebot poate fi folosit pentru modelele Gemini. Preluarea și clasarea în Căutarea Google rămân neschimbate.
Unde trebuie să se afle fișierul?
În rădăcina gazdei, la /robots.txt — de exemplu https://example.com/robots.txt. Un fișier dintr-un subdosar este ignorat, iar fiecare subdomeniu are nevoie de al său.
Ce este rândul Content-Signal?
O propunere publicată pe contentsignals.org pentru a indica modul în care conținutul poate fi folosit după preluare: pentru rezultate de căutare, ca date de intrare pentru răspunsuri AI sau pentru antrenarea AI. Exprimă dorința dumneavoastră; dacă un crawler o respectă depinde de operatorul său.
Datele introduse sunt trimise undeva?
Nu. Generatorul rulează în întregime în browserul dumneavoastră. Nimic din ce introduceți nu este transmis sau salvat.
Când boții vă ignoră fișierul robots.txt
SilentShield evaluează pe server trimiterile din formularele dumneavoastră după comportamentul care le-a precedat — implicit fără nicio sarcină pentru vizitatori.