Tarkkaile tekoälyagentteja
Tekoälyindeksoijat — GPTBotista ClaudeBotin kautta PerplexityBotiin — lukevat sivustoasi joka päivä, eivätkä useimmat ylläpitäjät koskaan näe sitä. Tarkkailutila on SilentShieldin tekoälyagenttien hallinnan taso 1: se tallentaa, mitkä tekoälypalvelut vierailevat milläkin sivuilla — estämättä mitään ja muuttamatta sivustosi toimintaa.
Näkyvyys tulee ennen hallintaa: vasta kun tiedät, kuka sisältöäsi lukee, voit järkevästi päättää, kenet sallit, ketä rajoitat ja kenet estät. Siksi jokainen havainto luokitellaan yhteen kolmesta luokasta:
- Koulutus
- Indeksoija kerää sisältöäsi tulevien tekoälymallien kouluttamiseen (esim. GPTBot, ClaudeBot, CCBot).
- Tekoälyhaku
- Palvelu lukee sivuja vastatakseen käyttäjien kysymyksiin ja voi siteerata sivustoasi lähteenä (esim. OAI-SearchBot, PerplexityBot).
- Agentit
- Botti toimii reaaliajassa tietyn käyttäjän puolesta ja esimerkiksi tutkii tuotetta tai täyttää lomakkeen sivustollasi (esim. ChatGPT-User, Claude-User).
Käyttöönotto alustoittain
WordPress
Sisäänrakennettu observer saapuu tulevassa SilentShield-lisäosan päivityksessä. Siihen asti aktivoit havainnoinnin pienellä must-use-lisäosalla — yksi tiedosto, ei konfiguraatiota:
Luo tiedosto wp-content/mu-plugins/silentshield-observer.php tällä sisällöllä (mu-pluginit latautuvat automaattisesti; poista tiedosto poistaaksesi käytöstä):
<?php
/**
* Plugin Name: SilentShield — AI Agent Observer
* Description: Reports AI crawler visits to SilentShield (fire-and-forget;
* IP/UA are hashed server-side, GDPR). Delete this file to disable.
*
* Install: save this file as wp-content/mu-plugins/silentshield-observer.php
* (mu-plugins load automatically — no activation needed). To force it off
* without deleting: define('SILENTSHIELD_OBSERVER', false) in wp-config.php.
* An upcoming SilentShield plugin update will build this in.
*/
if (!defined('ABSPATH')) exit;
if (defined('SILENTSHIELD_OBSERVER') && !SILENTSHIELD_OBSERVER) return;
const SS_OBSERVE_URL = "https://api.silentshield.io/api/v1/agent/telemetry";
const SS_API_KEY = "YOUR_API_KEY"; // publishable site key
// For the always-fresh list, cache https://api.silentshield.io/api/v1/agent/bot-directory daily.
$ss_bots = ["GPTBot","OAI-SearchBot","ChatGPT-User","ClaudeBot","Claude-User",
"PerplexityBot","Perplexity-User","Bingbot","Applebot","Amazonbot","CCBot",
"Bytespider","meta-externalagent","Google-Agent"];
register_shutdown_function(function () use ($ss_bots) {
$ua = $_SERVER["HTTP_USER_AGENT"] ?? "";
$signed = !empty($_SERVER["HTTP_SIGNATURE"]);
$isBot = $signed;
foreach ($ss_bots as $b) { if (stripos($ua, $b) !== false) { $isBot = true; break; } }
if (!$isBot) return;
if (function_exists("fastcgi_finish_request")) { fastcgi_finish_request(); }
wp_remote_post(SS_OBSERVE_URL, [
"timeout" => 3,
"blocking" => false,
"headers" => ["Content-Type" => "application/json", "x-api-key" => SS_API_KEY],
"body" => wp_json_encode(["sightings" => [[
"ua" => $ua,
"ip" => $_SERVER["REMOTE_ADDR"] ?? "",
"path" => strtok($_SERVER["REQUEST_URI"] ?? "/", "?"),
"method" => $_SERVER["REQUEST_METHOD"] ?? "GET",
]]]),
]);
});Next.js
Itsenäinen middleware — ilman SDK:ta. Havainnointi tapahtuu event.waitUntil()-kutsulla vastauspolun ulkopuolella, joten se ei koskaan viivästytä sivujasi:
// middleware.ts — self-contained observer, no SDK required.
// Sightings are reported via event.waitUntil(), off the response path,
// so your pages never wait. Best-effort and fail-open by design.
import { NextResponse, type NextRequest } from "next/server";
const OBSERVE_URL = "https://api.silentshield.io/api/v1/agent/telemetry";
const API_KEY = "YOUR_API_KEY"; // publishable site key
// Known AI-agent UA tokens. For the always-fresh list, fetch
// https://api.silentshield.io/api/v1/agent/bot-directory once a day and cache it.
const BOTS = ["GPTBot", "OAI-SearchBot", "ChatGPT-User", "ClaudeBot", "Claude-User",
"PerplexityBot", "Perplexity-User", "Bingbot", "Applebot", "Amazonbot", "CCBot",
"Bytespider", "meta-externalagent", "Google-Agent"];
export function middleware(req: NextRequest, event: { waitUntil(p: Promise<unknown>): void }) {
const ua = req.headers.get("user-agent") ?? "";
const signed = !!req.headers.get("signature");
if (signed || BOTS.some((b) => ua.toLowerCase().includes(b.toLowerCase()))) {
const sighting = {
ua,
path: req.nextUrl.pathname,
method: req.method,
ip: req.headers.get("x-forwarded-for")?.split(",")[0]?.trim(),
...(signed && {
signature: req.headers.get("signature"),
signature_input: req.headers.get("signature-input"),
signature_agent: req.headers.get("signature-agent"),
authority: req.nextUrl.host,
scheme: req.nextUrl.protocol.replace(":", ""),
}),
};
event.waitUntil(
fetch(OBSERVE_URL, {
method: "POST",
headers: { "Content-Type": "application/json", "x-api-key": API_KEY },
body: JSON.stringify({ sightings: [sighting] }),
}).catch(() => {}) // best-effort, fail-open
);
}
return NextResponse.next();
}Node.js (Express)
Lisää Expressiin (tai mihin tahansa muuhun Node-palvelimeen) fire-and-forget-middleware. Se raportoi vain pyynnöt, joiden User-Agent vastaa tunnettua tekoälyagenttia tai joissa on Web Bot Auth -allekirjoitus — eikä se koskaan estä vastausta:
import express from "express";
const app = express();
const OBSERVE_URL = "https://api.silentshield.io/api/v1/agent/telemetry";
const API_KEY = "YOUR_API_KEY";
// Known AI-agent UA tokens. For the always-fresh list, fetch
// https://api.silentshield.io/api/v1/agent/bot-directory once a day and cache it.
const BOTS = ["GPTBot", "OAI-SearchBot", "ChatGPT-User", "ClaudeBot", "Claude-User",
"PerplexityBot", "Perplexity-User", "Bingbot", "Applebot", "Amazonbot", "CCBot",
"Bytespider", "meta-externalagent", "Google-Agent"];
// Fire-and-forget observer — never blocks the response.
app.use((req, res, next) => {
const ua = req.headers["user-agent"] || "";
const signed = !!req.headers["signature"];
if (signed || BOTS.some((b) => ua.toLowerCase().includes(b.toLowerCase()))) {
const sighting = {
ua, ip: req.ip, path: req.path, method: req.method,
...(signed && {
signature: req.headers["signature"],
signature_input: req.headers["signature-input"],
signature_agent: req.headers["signature-agent"],
authority: req.headers["host"], scheme: req.protocol,
}),
};
fetch(OBSERVE_URL, {
method: "POST",
headers: { "Content-Type": "application/json", "x-api-key": API_KEY },
body: JSON.stringify({ sightings: [sighting] }),
}).catch(() => {}); // best-effort, fail-open
}
next();
});PHP
Puhtaassa PHP:ssä sisällytä tämä tarkkailija front controllerisi alkuun. Se lähettää havainnon vasta, kun vastaus on toimitettu (fastcgi_finish_request), joten sivu ei koskaan hidastu:
<?php
// Drop-in observer: include at the very top of your front controller.
// It runs after the response is sent (fastcgi_finish_request) so it never
// slows down the page. Reuses the same publishable key.
const SS_OBSERVE_URL = "https://api.silentshield.io/api/v1/agent/telemetry";
const SS_API_KEY = "YOUR_API_KEY";
// For the always-fresh list, cache https://api.silentshield.io/api/v1/agent/bot-directory daily.
$ss_bots = ["GPTBot","OAI-SearchBot","ChatGPT-User","ClaudeBot","Claude-User",
"PerplexityBot","Perplexity-User","Bingbot","Applebot","Amazonbot","CCBot",
"Bytespider","meta-externalagent","Google-Agent"];
register_shutdown_function(function () use ($ss_bots) {
$ua = $_SERVER["HTTP_USER_AGENT"] ?? "";
$signed = !empty($_SERVER["HTTP_SIGNATURE"]);
$isBot = $signed;
foreach ($ss_bots as $b) { if (stripos($ua, $b) !== false) { $isBot = true; break; } }
if (!$isBot) return;
if (function_exists("fastcgi_finish_request")) { fastcgi_finish_request(); }
$sighting = [
"ua" => $ua,
"ip" => $_SERVER["REMOTE_ADDR"] ?? "",
"path" => strtok($_SERVER["REQUEST_URI"] ?? "/", "?"),
"method" => $_SERVER["REQUEST_METHOD"] ?? "GET",
];
$ch = curl_init(SS_OBSERVE_URL);
curl_setopt_array($ch, [
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 3,
CURLOPT_HTTPHEADER => ["Content-Type: application/json", "x-api-key: " . SS_API_KEY],
CURLOPT_POSTFIELDS => json_encode(["sightings" => [$sighting]]),
]);
curl_exec($ch); // best-effort, fail-open
curl_close($ch);
});Go
Itsenäinen observer muutamalla rivillä — vain standardikirjasto, ei SDK:ta. Havainnot lähetetään fire-and-forget-tyylillä, joten yksikään pyyntö ei hidastu:
// Self-contained observer — stdlib only, no SDK required.
// Reports AI-agent sightings fire-and-forget: never blocks a request,
// fail-open on any error. For the always-fresh bot list, cache
// https://api.silentshield.io/api/v1/agent/bot-directory daily.
const observeURL = "https://api.silentshield.io/api/v1/agent/telemetry"
const siteKey = "YOUR_API_KEY" // publishable — or os.Getenv("SILENTSHIELD_SITE_KEY")
var bots = []string{"GPTBot", "OAI-SearchBot", "ChatGPT-User", "ClaudeBot",
"Claude-User", "PerplexityBot", "Perplexity-User", "Bingbot", "Applebot",
"Amazonbot", "CCBot", "Bytespider", "meta-externalagent", "Google-Agent"}
func observe(next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
ua, signed := r.UserAgent(), r.Header.Get("Signature") != ""
hit := signed
for _, b := range bots {
if strings.Contains(strings.ToLower(ua), strings.ToLower(b)) {
hit = true
break
}
}
if hit {
ip, _, _ := net.SplitHostPort(r.RemoteAddr)
s := map[string]any{"ua": ua, "ip": ip, "path": r.URL.Path, "method": r.Method}
if signed { // Web Bot Auth (RFC 9421) — forward for verification
s["signature"] = r.Header.Get("Signature")
s["signature_input"] = r.Header.Get("Signature-Input")
s["signature_agent"] = r.Header.Get("Signature-Agent")
s["authority"] = r.Host
}
body, _ := json.Marshal(map[string]any{"sightings": []any{s}})
go func() { // best-effort, fail-open
req, _ := http.NewRequest("POST", observeURL, bytes.NewReader(body))
req.Header.Set("Content-Type", "application/json")
req.Header.Set("x-api-key", siteKey)
if resp, err := (&http.Client{Timeout: 3 * time.Second}).Do(req); err == nil {
resp.Body.Close()
}
}()
}
next.ServeHTTP(w, r)
})
}
// net/http: http.ListenAndServe(":8080", observe(mux))
// Gin: srv := &http.Server{Addr: ":8080", Handler: observe(r)}
// srv.ListenAndServe()Testaa yhteys
Sinun ei tarvitse odottaa ensimmäistä oikeaa tekoälyindeksoijaa varmistaaksesi, että integraatiosi toimii. Lähetä tyhjä erä — se rekisteröi avaimellesi heartbeat-signaalin kirjoittamatta yhtään tekaistua havaintoa:
curl -X POST https://api.silentshield.io/api/v1/agent/telemetry \
-H "Content-Type: application/json" \
-H "x-api-key: YOUR_API_KEY" \
--data '{"sightings":[]}'API-avaimesi agenttikeskus (API-avaimet → valitse avain → Agentti) vaihtuu silloin tilasta ”ei yhdistetty” tilaan ”yhdistetty — kuuntelee”. Raporttisi pysyy tyhjänä, kunnes oikea agentti vierailee: SilentShield ei koskaan keksi tietoja.
GDPR
Tarkkailu perustuu oikeutettuun etuun (GDPR art. 6(1)(f)). IP-osoitteet hajautetaan palvelinpuolella päivittäin vaihtuvalla salt-arvolla — raakoja IP-osoitteita ei koskaan tallenneta. Havaintoja säilytetään 14 päivää, ja ylipäätään tallennetaan vain tunnettujen tekoälyagenttien pyynnöt: tavallista kävijäliikennettä ei koskaan kirjata.
UKK
Hidastaako tämä sivustoani?
Ei. Jokainen integraatio on fire-and-forget: Next.js käyttää event.waitUntil()-kutsua, PHP raportoi vasta vastauksen toimittamisen jälkeen, Node ja Go lähettävät taustalla. Ja jos SilentShield-API ei joskus olisi tavoitettavissa, sivustosi ei kärsi — kaikki toimii fail-open-periaatteella.
Mikä lasketaan tekoälyagentiksi?
Vain pyynnöt, jotka vastaavat SilentShieldin tunnettujen tekoälyindeksoijien ja -agenttien bottihakemistoa (GPTBot, ClaudeBot, PerplexityBot, …) tai joissa on Web Bot Auth -allekirjoitus. Aina ajantasainen luettelo on osoitteessa https://api.silentshield.io/api/v1/agent/bot-directory.
Miksi en näe vielä tietoja?
Tekoälyindeksoijat tulevat omaan tahtiinsa. Useimmilla sivustoilla ensimmäiset havainnot ilmestyvät 24–72 tunnin kuluessa; pienemmillä sivustoilla voi kestää kauemmin. Sillä välin agenttikeskuksesi heartbeat vahvistaa, että itse integraatio toimii.