Gratis tool
robots.txt-generator
Bepaal welke crawlers uw site mogen lezen: zoekmachines, AI-trainingscrawlers, AI-zoekdiensten en assistenten die pagina's ophalen namens een gebruiker. Het bestand ontstaat in uw browser — er wordt niets naar ons verzonden.
Kort gezegd
Een robots.txt is een verzoek, geen slot. De grote zoekmachines en AI-aanbieders publiceren de namen van hun crawlers en verklaren dat die het bestand volgen; scrapers en spambots hoeven dat niet. Gebruik het om fatsoenlijke crawlers te vertellen wat ze mogen lezen, en controleer al het andere op de server.
Uitgangspunt
Welke crawlers moeten buiten blijven?
Aangevinkte crawlers krijgen Disallow: /. Alle andere volgen de regels voor alle crawlers, inclusief de paden hieronder.
Elke regel begint met /, bijvoorbeeld /admin/ of /winkelwagen/. Een * staat voor willekeurige tekens.
Het volledige adres van uw XML-sitemap, beginnend met https://.
Zo zet u het bestand online
- 1Kies hierboven de crawlers en paden en kopieer het resultaat.
- 2Sla het op als platte-tekstbestand met de naam robots.txt (UTF-8).
- 3Upload het naar de hoofdmap van uw domein, zodat het opent op https://uw-domein/robots.txt. Elk subdomein heeft een eigen bestand nodig.
- 4Open dat adres in de browser en controleer of precies deze tekst verschijnt. Voegt uw hostingpartij of CDN eigen regels toe, dan ziet u die daar ook.
Wat robots.txt niet kan
- Het beschermt niets. Iedereen kan een geblokkeerd pad nog steeds openen, en het bestand is openbaar: het noemt zelfs de paden die u liever verborgen houdt.
- Bots die het negeren, houdt het niet tegen — en juist van hen komen formulierspam en geautomatiseerde aanmeldingen.
- Een geblokkeerde pagina kan toch in zoekresultaten verschijnen als andere sites ernaar linken. Wilt u een pagina buiten de index houden, sta crawlen dan toe en gebruik noindex.
Veelgestelde vragen
Blokkeert robots.txt bots?
Nee. Het is een verzoek dat fatsoenlijke crawlers volgen. Scrapers, spambots en veel geautomatiseerde tools negeren het. Om die tegen te houden is een controle op de server nodig, bijvoorbeeld snelheidslimieten of botbescherming op uw formulieren.
Verdwijnt mijn site uit ChatGPT als ik GPTBot blokkeer?
Niet per se. OpenAI gebruikt aparte namen: GPTBot voor training, OAI-SearchBot voor zoeken in ChatGPT en ChatGPT-User wanneer een gebruiker naar een pagina vraagt. Wie er één blokkeert, laat de andere ongemoeid. Ook Anthropic en Perplexity gebruiken voor deze doelen aparte namen.
Heeft het blokkeren van Google-Extended invloed op mijn positie in Google?
Volgens Google niet. Google-Extended bepaalt alleen of door Googlebot gecrawlde inhoud voor Gemini-modellen mag worden gebruikt. Crawlen en ranking in Google Zoeken blijven gelijk.
Waar moet het bestand staan?
In de hoofdmap van de host, onder /robots.txt — bijvoorbeeld https://example.com/robots.txt. Een bestand in een submap wordt genegeerd, en elk subdomein heeft een eigen bestand nodig.
Wat is de Content-Signal-regel?
Een voorstel, gepubliceerd op contentsignals.org, om aan te geven hoe inhoud na het crawlen mag worden gebruikt: voor zoekresultaten, als invoer voor AI-antwoorden of voor AI-training. Het drukt uw wens uit; of een crawler die respecteert, beslist de beheerder ervan.
Wordt mijn invoer ergens naartoe verzonden?
Nee. De generator werkt volledig in uw browser. Niets van wat u invoert, wordt verzonden of opgeslagen.
Als bots uw robots.txt negeren
SilentShield beoordeelt inzendingen van uw formulieren op de server aan de hand van het gedrag dat eraan voorafging — standaard zonder taak voor uw bezoekers.