Erbjudande till nya kunder−20 %20 % rabatt de första 3 månaderna vid månadsbetalningSe priser
SilentShield

Gratis verktyg

robots.txt-generator

Bestäm vilka crawlers som får läsa din webbplats: sökmotorer, AI-träningscrawlers, AI-sök och assistenter som hämtar sidor åt en användare. Filen skapas i din webbläsare — inget skickas till oss.

Kort sagt

En robots.txt är en begäran, inte ett lås. De stora sökmotorerna och AI-leverantörerna publicerar namnen på sina crawlers och uppger att de följer filen; scrapers och spambottar behöver inte göra det. Använd den för att tala om för väluppfostrade crawlers vad de får läsa, och kontrollera allt annat på servern.

Utgångsläge

Vilka crawlers ska hållas ute?

Markerade crawlers får Disallow: /. Alla andra följer reglerna för alla crawlers, även sökvägarna längre ned.

Sökmotorer

Indexerar dina sidor för den klassiska sökningen. Blockerar du dem försvinner din webbplats ur deras sökresultat.

AI-träning och datainsamling

Samlar in innehåll för att träna AI-modeller. Google-Extended och Applebot-Extended är inga egna crawlers: de styr bara om Google och Apple får använda crawlat innehåll för sina AI-modeller. Sökningen påverkas inte.

AI-sök

Indexerar sidor så att AI-sök kan visa dem och citera dem som källa.

Assistenter som agerar åt en användare

Hämtar en sida när någon frågar en assistent om den. Vissa leverantörer uppger att reglerna i robots.txt kanske inte gäller för dessa förfrågningar.

Varje rad börjar med /, till exempel /admin/ eller /kundvagn/. En * står för valfria tecken.

Den fullständiga adressen till din XML-sitemap, som börjar med https://.

Innehållssignaler (valfritt)

En Content-Signal-rad (contentsignals.org) anger hur innehåll får användas efter crawlingen. Alla crawlers läser den inte.

Så publicerar du filen

  1. 1Välj crawlers och sökvägar ovan och kopiera resultatet.
  2. 2Spara det som en ren textfil med namnet robots.txt (UTF-8).
  3. 3Ladda upp den till roten av din domän så att den öppnas på https://din-doman/robots.txt. Varje underdomän behöver en egen fil.
  4. 4Öppna adressen i webbläsaren och kontrollera att exakt den här texten visas. Om ditt webbhotell eller CDN lägger till egna regler ser du dem där också.

Vad robots.txt inte kan

  • Den skyddar ingenting. Vem som helst kan fortfarande öppna en blockerad sökväg, och filen är offentlig: den listar till och med de sökvägar du helst vill dölja.
  • Den stoppar inte bottar som ignorerar den — och det är just från dem som formulärspam och automatiserade registreringar kommer.
  • En blockerad sida kan ändå dyka upp i sökresultat om andra webbplatser länkar till den. Vill du hålla en sida utanför indexet, tillåt crawling och använd noindex.

Vanliga frågor

Blockerar robots.txt bottar?

Nej. Det är en begäran som väluppfostrade crawlers följer. Scrapers, spambottar och många automatiserade verktyg ignorerar den. För att stoppa dem krävs en kontroll på servern, till exempel hastighetsbegränsningar eller bottskydd på dina formulär.

Försvinner min webbplats från ChatGPT om jag blockerar GPTBot?

Inte nödvändigtvis. OpenAI använder separata namn: GPTBot för träning, OAI-SearchBot för sökning i ChatGPT och ChatGPT-User när en användare frågar om en sida. Blockerar du en av dem påverkas inte de andra. Även Anthropic och Perplexity använder separata namn för dessa syften.

Påverkar en blockering av Google-Extended min placering i Google?

Enligt Google nej. Google-Extended styr bara om innehåll som Googlebot har crawlat får användas för Gemini-modeller. Crawling och ranking i Google Sök förblir oförändrade.

Var måste filen ligga?

I roten av värden under /robots.txt — till exempel https://example.com/robots.txt. En fil i en undermapp ignoreras, och varje underdomän behöver en egen.

Vad är Content-Signal-raden?

Ett förslag som publicerats på contentsignals.org för att ange hur innehåll får användas när det har crawlats: för sökresultat, som indata till AI-svar eller för AI-träning. Den uttrycker din önskan; om en crawler respekterar den avgör dess operatör.

Skickas mina uppgifter någonstans?

Nej. Generatorn körs helt i din webbläsare. Inget av det du anger överförs eller sparas.

När bottar ignorerar din robots.txt

SilentShield bedömer inskick från dina formulär på servern utifrån beteendet som ledde fram till dem — som standard utan någon uppgift för dina besökare.