KI-Agenten und Crawler wie GPTBot, ClaudeBot oder PerplexityBot besuchen Websites wie jeder andere Client. Die Seite „KI-Agenten-Kontrolle“ eines Schlüssels zeigt, welche davon Ihre Website besuchen, und lässt Sie festlegen, was sie dürfen. Dieser Beitrag zeigt diese Seite. Der Film unten zeigt sie im echten Dashboard mit Beispieldaten, ohne Ton und mit kurzen Einblendungen. Der Text darunter sagt dasselbe in Worten, sodass Sie auch ohne Film mitkommen.
Der Film in Kürze
Der Film öffnet die „KI-Agenten-Kontrolle“, die noch „Noch nicht verbunden“ meldet. Er scrollt zur „Vorlage“, wählt „Ausgewogen“ und bestätigt die Rückfrage zur Voreinstellung, zeigt die „Kategorien“, die Karte „Was bedeuten die Aktionen?“ und die Karte „Stufe“ mit „Beobachten (nichts wird blockiert)“. Er verbindet keine echte Website und zeigt keine Besuche. Er hat keinen Ton und startet nicht von selbst.
Schritt 1: den Beobachter einrichten
Unter „Beobachtung einrichten“ bietet die Seite Code für „WordPress“, „Next.js“, „Node.js“, „PHP“ und „Go“. Er läuft auf Ihrem Server, setzt keine Cookies, blockiert nichts und erfasst nur erkannte Bots, nie Ihre menschlichen Besucher. Unter „Verbindung testen“ sendet ein curl-Befehl einen leeren Testbericht mit Ihrem Schlüssel; „Erneut prüfen“ fragt, ob die Seite nun von Ihrer Website hört. Bis dahin meldet die Seite „Noch nicht verbunden“.
Schritt 2: Vorlage und Kategorien
Die Karte „Vorlage“ bietet „Maximale Sichtbarkeit“, „Ausgewogen“, „Maximaler Schutz“ und „Eigene Regeln“. Eine Vorlage fragt nach, bevor sie etwas ändert: Die Frage nennt, was sie einstellt, und weist darauf hin, dass Sie sich in der Beobachten-Stufe befinden. Darunter zeigen die „Kategorien“ je eine Zeile pro Art von Agent („KI-Suche“, „KI-Agenten“, „KI-Training“, „Gefälschte Identität“) mit „Erlauben“, „Beobachten“ oder „Blockieren“ und eine Empfehlung, die auf dem Zweck des Bots und seinem Verifikations-Status beruht. Sie entscheiden, was zu Ihrer Website passt.
Schritt 3: Aktionen und Stufe
„Was bedeuten die Aktionen?“ erklärt die drei Möglichkeiten: „Erlauben“ heißt die Agenten einer Kategorie willkommen, „Beobachten“ erfasst jeden Besuch und blockiert nichts (die sichere Standardeinstellung), und „Blockieren“ erzeugt eine Sperr-Regel für die Kategorie. Die Karte „Stufe“ ist die wichtige: Ihre Regeln sind gespeichert, aber noch nicht scharf, „Blockieren“ wirkt also erst, wenn Sie Ihre Regeln aktivieren. Im Film steht die Stufe auf „Beobachten (nichts wird blockiert)“, und das Scharfschalten ist für das Konto nicht freigeschaltet, was die Seite im Klartext sagt. Weiter unten erzeugt „robots.txt für diese Policy“ aus Ihren Regeln eine Datei; robots.txt ist eine Bitte, der gut erzogene Crawler folgen.
Was der Film nicht zeigt
Der Film zeigt keine echten Besuche, keinen blockierten Agenten und nicht das Aktivieren der Regeln; ob das Scharfschalten möglich ist, hängt von Ihrem Konto ab. Die Dokumentationsseite zu KI-Agenten-Regeln beschreibt Regeln und Kategorien im Einzelnen. Was mit verdächtigen Besuchern Ihrer Formulare geschieht, ist eine andere Einstellung, gezeigt in Sicherheitsrichtlinie: festlegen, was mit verdächtigen Besuchern geschieht.