Outil gratuit
Générateur de robots.txt
Choisissez les crawlers autorisés à lire votre site : moteurs de recherche, crawlers d'entraînement IA, recherche IA et assistants qui consultent des pages pour le compte d'un utilisateur. Le fichier est créé dans votre navigateur — rien ne nous est transmis.
En bref
Le robots.txt est une demande, pas une serrure. Les grands moteurs de recherche et fournisseurs d'IA publient le nom de leurs crawlers et déclarent qu'ils respectent ce fichier ; les scrapers et les bots de spam n'y sont pas tenus. Utilisez-le pour indiquer aux crawlers bien élevés ce qu'ils peuvent lire, et vérifiez tout le reste sur le serveur.
Point de départ
Quels crawlers doivent rester dehors ?
Les crawlers cochés reçoivent Disallow: /. Tous les autres suivent les règles communes à tous les crawlers, y compris les chemins ci-dessous.
Chaque ligne commence par /, par exemple /admin/ ou /panier/. Un * remplace n'importe quels caractères.
L'adresse complète de votre sitemap XML, commençant par https://.
Mettre le fichier en ligne
- 1Choisissez ci-dessus les crawlers et les chemins, puis copiez le résultat.
- 2Enregistrez-le comme fichier texte brut nommé robots.txt (UTF-8).
- 3Placez-le à la racine de votre domaine, de sorte qu'il s'ouvre à l'adresse https://votre-domaine/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
- 4Ouvrez cette adresse dans le navigateur et vérifiez que ce texte apparaît exactement. Si votre hébergeur ou votre CDN ajoute ses propres règles, vous les verrez aussi.
Ce que le robots.txt ne peut pas faire
- Il ne protège rien. Chacun peut toujours ouvrir un chemin bloqué, et le fichier est public : il liste même les chemins que vous préféreriez cacher.
- Il n'arrête pas les bots qui l'ignorent — et c'est précisément d'eux que viennent le spam de formulaires et les inscriptions automatisées.
- Une page bloquée peut tout de même apparaître dans les résultats de recherche si d'autres sites pointent vers elle. Pour exclure une page de l'index, autorisez l'exploration et utilisez noindex.
Questions fréquentes
Le robots.txt bloque-t-il les bots ?
Non. C'est une demande que suivent les crawlers bien élevés. Les scrapers, les bots de spam et de nombreux outils automatisés l'ignorent. Pour les arrêter, il faut un contrôle sur le serveur, par exemple une limitation du débit ou une protection anti-bot sur vos formulaires.
Si je bloque GPTBot, mon site disparaît-il de ChatGPT ?
Pas forcément. OpenAI utilise des noms distincts : GPTBot pour l'entraînement, OAI-SearchBot pour la recherche dans ChatGPT et ChatGPT-User lorsqu'un utilisateur pose une question sur une page. En bloquer un laisse les autres intacts. Anthropic et Perplexity utilisent eux aussi des noms distincts pour ces usages.
Bloquer Google-Extended affecte-t-il mon classement sur Google ?
Selon Google, non. Google-Extended détermine seulement si le contenu exploré par Googlebot peut servir aux modèles Gemini. L'exploration et le classement dans la recherche Google restent inchangés.
Où le fichier doit-il se trouver ?
À la racine de l'hôte, sous /robots.txt — par exemple https://example.com/robots.txt. Un fichier placé dans un sous-dossier est ignoré, et chaque sous-domaine a besoin du sien.
Qu'est-ce que la ligne Content-Signal ?
Une proposition publiée sur contentsignals.org pour indiquer comment le contenu peut être utilisé une fois exploré : pour les résultats de recherche, comme entrée pour des réponses IA ou pour l'entraînement IA. Elle exprime votre souhait ; c'est à l'exploitant de chaque crawler de décider s'il le respecte.
Mes saisies sont-elles transmises quelque part ?
Non. Le générateur fonctionne entièrement dans votre navigateur. Rien de ce que vous saisissez n'est transmis ni enregistré.
Quand des bots ignorent votre robots.txt
SilentShield évalue sur le serveur les envois de vos formulaires d'après le comportement qui les a précédés — par défaut sans tâche pour vos visiteurs.