Offerta per nuovi clienti−20 %20 % di sconto sui primi 3 mesi con pagamento mensilePiani e prezzi
SilentShield

Strumento gratuito

Generatore di robots.txt

Decida quali crawler possono leggere il Suo sito: motori di ricerca, crawler di addestramento IA, ricerca IA e assistenti che aprono pagine per conto di un utente. Il file viene creato nel Suo browser: a noi non viene inviato nulla.

In breve

Il robots.txt è una richiesta, non una serratura. I grandi motori di ricerca e fornitori di IA pubblicano i nomi dei loro crawler e dichiarano che rispettano il file; scraper e bot di spam non sono tenuti a farlo. Lo usi per dire ai crawler corretti che cosa possono leggere e controlli tutto il resto sul server.

Punto di partenza

Quali crawler devono restare fuori?

I crawler selezionati ricevono Disallow: /. Tutti gli altri seguono le regole valide per tutti i crawler, compresi i percorsi più sotto.

Motori di ricerca

Indicizzano le Sue pagine per la ricerca classica. Bloccarli rimuove il Suo sito dai loro risultati.

Addestramento IA e raccolta di dati

Raccolgono contenuti per addestrare modelli di IA. Google-Extended e Applebot-Extended non sono crawler a sé: stabiliscono soltanto se Google e Apple possono usare i contenuti scansionati per i loro modelli di IA. La ricerca non ne risente.

Ricerca IA

Indicizzano le pagine perché la ricerca IA possa mostrarle e citarle come fonte.

Assistenti che agiscono per un utente

Aprono una pagina quando qualcuno chiede informazioni su di essa a un assistente. Alcuni fornitori dichiarano che le regole del robots.txt potrebbero non applicarsi a queste richieste.

Ogni riga inizia con /, ad esempio /admin/ o /carrello/. Un * sta per qualsiasi sequenza di caratteri.

L'indirizzo completo della Sua sitemap XML, che inizia con https://.

Segnali sui contenuti (facoltativo)

Una riga Content-Signal (contentsignals.org) indica come possono essere usati i contenuti dopo la scansione. Non tutti i crawler la leggono.

Come mettere online il file

  1. 1Scelga sopra i crawler e i percorsi e copi il risultato.
  2. 2Lo salvi come file di testo semplice con il nome robots.txt (UTF-8).
  3. 3Lo carichi nella radice del Suo dominio, in modo che si apra all'indirizzo https://il-suo-dominio/robots.txt. Ogni sottodominio ha bisogno di un proprio file.
  4. 4Apra questo indirizzo nel browser e verifichi che compaia esattamente questo testo. Se il Suo hosting o la Sua CDN aggiungono regole proprie, le vedrà anche lì.

Che cosa il robots.txt non può fare

  • Non protegge nulla. Chiunque può ancora aprire un percorso bloccato, e il file è pubblico: elenca perfino i percorsi che preferirebbe nascondere.
  • Non ferma i bot che lo ignorano, e sono proprio loro a generare lo spam nei moduli e le registrazioni automatiche.
  • Una pagina bloccata può comunque comparire nei risultati di ricerca se altri siti vi rimandano. Per tenere una pagina fuori dall'indice, consenta la scansione e usi noindex.

Domande frequenti

Il robots.txt blocca i bot?

No. È una richiesta che i crawler corretti rispettano. Scraper, bot di spam e molti strumenti automatici la ignorano. Per fermarli serve un controllo sul server, ad esempio limiti di frequenza o una protezione anti-bot sui Suoi moduli.

Se blocco GPTBot, il mio sito sparisce da ChatGPT?

Non necessariamente. OpenAI usa nomi distinti: GPTBot per l'addestramento, OAI-SearchBot per la ricerca in ChatGPT e ChatGPT-User quando un utente chiede di una pagina. Bloccarne uno lascia intatti gli altri. Anche Anthropic e Perplexity usano nomi distinti per questi scopi.

Bloccare Google-Extended influisce sul mio posizionamento in Google?

Secondo Google, no. Google-Extended stabilisce soltanto se i contenuti scansionati da Googlebot possono essere usati per i modelli Gemini. La scansione e il posizionamento nella Ricerca Google restano invariati.

Dove deve trovarsi il file?

Nella radice dell'host, sotto /robots.txt, ad esempio https://example.com/robots.txt. Un file in una sottocartella viene ignorato, e ogni sottodominio ha bisogno del proprio.

Che cos'è la riga Content-Signal?

Una proposta pubblicata su contentsignals.org per indicare come possono essere usati i contenuti una volta scansionati: per i risultati di ricerca, come input per risposte IA o per l'addestramento IA. Esprime il Suo desiderio; se un crawler lo rispetta dipende dal suo gestore.

I miei dati vengono inviati da qualche parte?

No. Il generatore funziona interamente nel Suo browser. Nulla di ciò che inserisce viene trasmesso o salvato.

Quando i bot ignorano il Suo robots.txt

SilentShield valuta sul server gli invii dei Suoi moduli in base al comportamento che li ha preceduti, per impostazione predefinita senza alcun compito per i Suoi visitatori.