Kostenloses Werkzeug
robots.txt-Generator
Legen Sie fest, welche Crawler Ihre Website lesen dürfen: Suchmaschinen, KI-Trainings-Crawler, KI-Suche und Assistenten, die Seiten im Auftrag eines Nutzers abrufen. Die Datei entsteht in Ihrem Browser — an uns wird nichts übertragen.
Kurz gesagt
Die robots.txt ist eine Bitte, kein Schloss. Die großen Suchmaschinen und KI-Anbieter veröffentlichen die Namen ihrer Crawler und erklären, dass diese die Datei befolgen; Scraper und Spam-Bots müssen das nicht. Nutzen Sie die Datei, um gutwilligen Crawlern zu sagen, was sie lesen dürfen, und prüfen Sie alles Übrige auf dem Server.
Ausgangspunkt
Welche Crawler sollen draußen bleiben?
Angehakte Crawler erhalten Disallow: /. Alle anderen folgen den Regeln für alle Crawler, einschließlich der Pfade weiter unten.
Jede Zeile beginnt mit /, etwa /admin/ oder /warenkorb/. Ein * steht für beliebige Zeichen.
Die vollständige Adresse Ihrer XML-Sitemap, beginnend mit https://.
So bringen Sie die Datei online
- 1Wählen Sie oben Crawler und Pfade aus und kopieren Sie das Ergebnis.
- 2Speichern Sie es als reine Textdatei mit dem Namen robots.txt (UTF-8).
- 3Laden Sie die Datei in das Wurzelverzeichnis Ihrer Domain, sodass sie unter https://ihre-domain/robots.txt erreichbar ist. Jede Subdomain braucht eine eigene Datei.
- 4Öffnen Sie diese Adresse im Browser und prüfen Sie, ob genau dieser Text erscheint. Fügt Ihr Hoster oder CDN eigene Regeln hinzu, sehen Sie diese dort ebenfalls.
Was die robots.txt nicht kann
- Die Datei schützt nichts. Jeder kann einen gesperrten Pfad weiterhin aufrufen, und die Datei ist öffentlich und nennt sogar die Pfade, die Sie lieber verbergen würden.
- Bots, die sie ignorieren, hält sie nicht auf — und genau von denen kommen Formular-Spam und automatisierte Registrierungen.
- Eine gesperrte Seite kann trotzdem in Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken. Soll eine Seite nicht in den Index, erlauben Sie das Crawlen und setzen Sie noindex.
Häufige Fragen
Sperrt die robots.txt Bots aus?
Nein. Sie ist eine Bitte, der gutwillige Crawler folgen. Scraper, Spam-Bots und viele automatisierte Werkzeuge ignorieren sie. Um diese aufzuhalten, braucht es eine Prüfung auf dem Server, etwa Ratenbegrenzungen oder einen Bot-Schutz für Ihre Formulare.
Verschwindet meine Website aus ChatGPT, wenn ich GPTBot sperre?
Nicht unbedingt. OpenAI verwendet getrennte Namen: GPTBot für das Training, OAI-SearchBot für die Suche in ChatGPT und ChatGPT-User, wenn ein Nutzer nach einer Seite fragt. Wer einen davon sperrt, lässt die anderen unberührt. Auch Anthropic und Perplexity verwenden für diese Zwecke getrennte Namen.
Wirkt sich das Sperren von Google-Extended auf mein Google-Ranking aus?
Laut Google nicht. Google-Extended steuert nur, ob von Googlebot gecrawlte Inhalte für Gemini-Modelle verwendet werden dürfen. Crawling und Ranking in der Google-Suche bleiben gleich.
Wo muss die Datei liegen?
Im Wurzelverzeichnis des Hosts unter /robots.txt — zum Beispiel https://example.com/robots.txt. Eine Datei in einem Unterordner wird ignoriert, und jede Subdomain braucht ihre eigene.
Was ist die Content-Signal-Zeile?
Ein auf contentsignals.org veröffentlichter Vorschlag, mit dem Sie angeben, wie Inhalte nach dem Crawlen verwendet werden dürfen: für Suchergebnisse, als Eingabe für KI-Antworten oder für KI-Training. Die Zeile drückt Ihren Wunsch aus; ob ein Crawler ihn beachtet, entscheidet sein Betreiber.
Wird meine Eingabe irgendwohin übertragen?
Nein. Der Generator läuft vollständig in Ihrem Browser. Nichts von dem, was Sie eingeben, wird übertragen oder gespeichert.
Wenn Bots Ihre robots.txt ignorieren
SilentShield bewertet Absendungen Ihrer Formulare auf dem Server anhand des Verhaltens, das zu ihnen geführt hat — standardmäßig ohne Aufgabe für Ihre Besucher.