Oferta para novos clientes−20 %20 % de desconto nos primeiros 3 meses com pagamento mensalVer planos
SilentShield

Ferramenta gratuita

Gerador de robots.txt

Decida que crawlers podem ler o seu site: motores de busca, crawlers de treino de IA, pesquisa com IA e assistentes que abrem páginas em nome de um utilizador. O ficheiro é criado no seu navegador — nada nos é enviado.

Em resumo

O robots.txt é um pedido, não uma fechadura. Os grandes motores de busca e fornecedores de IA publicam os nomes dos seus crawlers e declaram que estes respeitam o ficheiro; scrapers e bots de spam não são obrigados a isso. Use-o para dizer aos crawlers bem-comportados o que podem ler e verifique tudo o resto no servidor.

Ponto de partida

Que crawlers devem ficar de fora?

Os crawlers assinalados recebem Disallow: /. Todos os outros seguem as regras para todos os crawlers, incluindo os caminhos abaixo.

Motores de busca

Indexam as suas páginas para a pesquisa clássica. Bloqueá-los retira o seu site dos resultados deles.

Treino de IA e recolha de dados

Recolhem conteúdo para treinar modelos de IA. O Google-Extended e o Applebot-Extended não são crawlers próprios: apenas controlam se a Google e a Apple podem usar o conteúdo rastreado nos seus modelos de IA. A pesquisa não é afetada.

Pesquisa com IA

Indexam páginas para que a pesquisa com IA as possa mostrar e citar como fonte.

Assistentes que agem por um utilizador

Abrem uma página quando alguém pergunta por ela a um assistente. Alguns fornecedores indicam que as regras do robots.txt podem não se aplicar a estes pedidos.

Cada linha começa por /, por exemplo /admin/ ou /carrinho/. Um * representa quaisquer caracteres.

O endereço completo do seu sitemap XML, começando por https://.

Sinais de conteúdo (opcional)

Uma linha Content-Signal (contentsignals.org) indica como o conteúdo pode ser usado depois do rastreio. Nem todos os crawlers a leem.

Como publicar o ficheiro

  1. 1Escolha acima os crawlers e os caminhos e copie o resultado.
  2. 2Guarde-o como ficheiro de texto simples com o nome robots.txt (UTF-8).
  3. 3Carregue-o para a raiz do seu domínio, de modo que abra em https://o-seu-dominio/robots.txt. Cada subdomínio precisa do seu próprio ficheiro.
  4. 4Abra esse endereço no navegador e verifique se aparece exatamente este texto. Se o seu alojamento ou a sua CDN acrescentar regras próprias, também as verá aí.

O que o robots.txt não consegue fazer

  • Não protege nada. Qualquer pessoa pode continuar a abrir um caminho bloqueado, e o ficheiro é público: chega a listar os caminhos que preferiria esconder.
  • Não trava os bots que o ignoram — e é precisamente deles que vêm o spam em formulários e os registos automatizados.
  • Uma página bloqueada pode aparecer na mesma nos resultados de pesquisa se outros sites apontarem para ela. Para manter uma página fora do índice, permita o rastreio e use noindex.

Perguntas frequentes

O robots.txt bloqueia os bots?

Não. É um pedido que os crawlers bem-comportados seguem. Scrapers, bots de spam e muitas ferramentas automatizadas ignoram-no. Para os travar é preciso uma verificação no servidor, por exemplo limites de pedidos ou proteção contra bots nos seus formulários.

Se bloquear o GPTBot, o meu site desaparece do ChatGPT?

Nem sempre. A OpenAI usa nomes distintos: GPTBot para o treino, OAI-SearchBot para a pesquisa no ChatGPT e ChatGPT-User quando um utilizador pergunta por uma página. Bloquear um deixa os outros intactos. A Anthropic e a Perplexity também usam nomes distintos para estes fins.

Bloquear o Google-Extended afeta o meu posicionamento no Google?

Segundo a Google, não. O Google-Extended apenas controla se o conteúdo rastreado pelo Googlebot pode ser usado nos modelos Gemini. O rastreio e a classificação na Pesquisa Google mantêm-se.

Onde tem de estar o ficheiro?

Na raiz do host, em /robots.txt — por exemplo https://example.com/robots.txt. Um ficheiro numa subpasta é ignorado, e cada subdomínio precisa do seu.

O que é a linha Content-Signal?

Uma proposta publicada em contentsignals.org para indicar como o conteúdo pode ser usado depois de rastreado: para resultados de pesquisa, como entrada para respostas de IA ou para treino de IA. Exprime a sua vontade; cabe ao operador de cada crawler decidir se a respeita.

Os meus dados são enviados para algum lado?

Não. O gerador funciona inteiramente no seu navegador. Nada do que introduzir é transmitido ou guardado.

Quando os bots ignoram o seu robots.txt

O SilentShield avalia no servidor os envios dos seus formulários pelo comportamento que os antecedeu — por predefinição sem qualquer tarefa para os seus visitantes.