Strumento gratuito
Generatore di robots.txt
Decida quali crawler possono leggere il Suo sito: motori di ricerca, crawler di addestramento IA, ricerca IA e assistenti che aprono pagine per conto di un utente. Il file viene creato nel Suo browser: a noi non viene inviato nulla.
In breve
Il robots.txt è una richiesta, non una serratura. I grandi motori di ricerca e fornitori di IA pubblicano i nomi dei loro crawler e dichiarano che rispettano il file; scraper e bot di spam non sono tenuti a farlo. Lo usi per dire ai crawler corretti che cosa possono leggere e controlli tutto il resto sul server.
Punto di partenza
Quali crawler devono restare fuori?
I crawler selezionati ricevono Disallow: /. Tutti gli altri seguono le regole valide per tutti i crawler, compresi i percorsi più sotto.
Ogni riga inizia con /, ad esempio /admin/ o /carrello/. Un * sta per qualsiasi sequenza di caratteri.
L'indirizzo completo della Sua sitemap XML, che inizia con https://.
Come mettere online il file
- 1Scelga sopra i crawler e i percorsi e copi il risultato.
- 2Lo salvi come file di testo semplice con il nome robots.txt (UTF-8).
- 3Lo carichi nella radice del Suo dominio, in modo che si apra all'indirizzo https://il-suo-dominio/robots.txt. Ogni sottodominio ha bisogno di un proprio file.
- 4Apra questo indirizzo nel browser e verifichi che compaia esattamente questo testo. Se il Suo hosting o la Sua CDN aggiungono regole proprie, le vedrà anche lì.
Che cosa il robots.txt non può fare
- Non protegge nulla. Chiunque può ancora aprire un percorso bloccato, e il file è pubblico: elenca perfino i percorsi che preferirebbe nascondere.
- Non ferma i bot che lo ignorano, e sono proprio loro a generare lo spam nei moduli e le registrazioni automatiche.
- Una pagina bloccata può comunque comparire nei risultati di ricerca se altri siti vi rimandano. Per tenere una pagina fuori dall'indice, consenta la scansione e usi noindex.
Domande frequenti
Il robots.txt blocca i bot?
No. È una richiesta che i crawler corretti rispettano. Scraper, bot di spam e molti strumenti automatici la ignorano. Per fermarli serve un controllo sul server, ad esempio limiti di frequenza o una protezione anti-bot sui Suoi moduli.
Se blocco GPTBot, il mio sito sparisce da ChatGPT?
Non necessariamente. OpenAI usa nomi distinti: GPTBot per l'addestramento, OAI-SearchBot per la ricerca in ChatGPT e ChatGPT-User quando un utente chiede di una pagina. Bloccarne uno lascia intatti gli altri. Anche Anthropic e Perplexity usano nomi distinti per questi scopi.
Bloccare Google-Extended influisce sul mio posizionamento in Google?
Secondo Google, no. Google-Extended stabilisce soltanto se i contenuti scansionati da Googlebot possono essere usati per i modelli Gemini. La scansione e il posizionamento nella Ricerca Google restano invariati.
Dove deve trovarsi il file?
Nella radice dell'host, sotto /robots.txt, ad esempio https://example.com/robots.txt. Un file in una sottocartella viene ignorato, e ogni sottodominio ha bisogno del proprio.
Che cos'è la riga Content-Signal?
Una proposta pubblicata su contentsignals.org per indicare come possono essere usati i contenuti una volta scansionati: per i risultati di ricerca, come input per risposte IA o per l'addestramento IA. Esprime il Suo desiderio; se un crawler lo rispetta dipende dal suo gestore.
I miei dati vengono inviati da qualche parte?
No. Il generatore funziona interamente nel Suo browser. Nulla di ciò che inserisce viene trasmesso o salvato.
Quando i bot ignorano il Suo robots.txt
SilentShield valuta sul server gli invii dei Suoi moduli in base al comportamento che li ha preceduti, per impostazione predefinita senza alcun compito per i Suoi visitatori.