Ferramenta gratuita
Gerador de robots.txt
Decida que crawlers podem ler o seu site: motores de busca, crawlers de treino de IA, pesquisa com IA e assistentes que abrem páginas em nome de um utilizador. O ficheiro é criado no seu navegador — nada nos é enviado.
Em resumo
O robots.txt é um pedido, não uma fechadura. Os grandes motores de busca e fornecedores de IA publicam os nomes dos seus crawlers e declaram que estes respeitam o ficheiro; scrapers e bots de spam não são obrigados a isso. Use-o para dizer aos crawlers bem-comportados o que podem ler e verifique tudo o resto no servidor.
Ponto de partida
Que crawlers devem ficar de fora?
Os crawlers assinalados recebem Disallow: /. Todos os outros seguem as regras para todos os crawlers, incluindo os caminhos abaixo.
Cada linha começa por /, por exemplo /admin/ ou /carrinho/. Um * representa quaisquer caracteres.
O endereço completo do seu sitemap XML, começando por https://.
Como publicar o ficheiro
- 1Escolha acima os crawlers e os caminhos e copie o resultado.
- 2Guarde-o como ficheiro de texto simples com o nome robots.txt (UTF-8).
- 3Carregue-o para a raiz do seu domínio, de modo que abra em https://o-seu-dominio/robots.txt. Cada subdomínio precisa do seu próprio ficheiro.
- 4Abra esse endereço no navegador e verifique se aparece exatamente este texto. Se o seu alojamento ou a sua CDN acrescentar regras próprias, também as verá aí.
O que o robots.txt não consegue fazer
- Não protege nada. Qualquer pessoa pode continuar a abrir um caminho bloqueado, e o ficheiro é público: chega a listar os caminhos que preferiria esconder.
- Não trava os bots que o ignoram — e é precisamente deles que vêm o spam em formulários e os registos automatizados.
- Uma página bloqueada pode aparecer na mesma nos resultados de pesquisa se outros sites apontarem para ela. Para manter uma página fora do índice, permita o rastreio e use noindex.
Perguntas frequentes
O robots.txt bloqueia os bots?
Não. É um pedido que os crawlers bem-comportados seguem. Scrapers, bots de spam e muitas ferramentas automatizadas ignoram-no. Para os travar é preciso uma verificação no servidor, por exemplo limites de pedidos ou proteção contra bots nos seus formulários.
Se bloquear o GPTBot, o meu site desaparece do ChatGPT?
Nem sempre. A OpenAI usa nomes distintos: GPTBot para o treino, OAI-SearchBot para a pesquisa no ChatGPT e ChatGPT-User quando um utilizador pergunta por uma página. Bloquear um deixa os outros intactos. A Anthropic e a Perplexity também usam nomes distintos para estes fins.
Bloquear o Google-Extended afeta o meu posicionamento no Google?
Segundo a Google, não. O Google-Extended apenas controla se o conteúdo rastreado pelo Googlebot pode ser usado nos modelos Gemini. O rastreio e a classificação na Pesquisa Google mantêm-se.
Onde tem de estar o ficheiro?
Na raiz do host, em /robots.txt — por exemplo https://example.com/robots.txt. Um ficheiro numa subpasta é ignorado, e cada subdomínio precisa do seu.
O que é a linha Content-Signal?
Uma proposta publicada em contentsignals.org para indicar como o conteúdo pode ser usado depois de rastreado: para resultados de pesquisa, como entrada para respostas de IA ou para treino de IA. Exprime a sua vontade; cabe ao operador de cada crawler decidir se a respeita.
Os meus dados são enviados para algum lado?
Não. O gerador funciona inteiramente no seu navegador. Nada do que introduzir é transmitido ou guardado.
Quando os bots ignoram o seu robots.txt
O SilentShield avalia no servidor os envios dos seus formulários pelo comportamento que os antecedeu — por predefinição sem qualquer tarefa para os seus visitantes.