Gratis verktyg
robots.txt-generator
Bestäm vilka crawlers som får läsa din webbplats: sökmotorer, AI-träningscrawlers, AI-sök och assistenter som hämtar sidor åt en användare. Filen skapas i din webbläsare — inget skickas till oss.
Kort sagt
En robots.txt är en begäran, inte ett lås. De stora sökmotorerna och AI-leverantörerna publicerar namnen på sina crawlers och uppger att de följer filen; scrapers och spambottar behöver inte göra det. Använd den för att tala om för väluppfostrade crawlers vad de får läsa, och kontrollera allt annat på servern.
Utgångsläge
Vilka crawlers ska hållas ute?
Markerade crawlers får Disallow: /. Alla andra följer reglerna för alla crawlers, även sökvägarna längre ned.
Varje rad börjar med /, till exempel /admin/ eller /kundvagn/. En * står för valfria tecken.
Den fullständiga adressen till din XML-sitemap, som börjar med https://.
Så publicerar du filen
- 1Välj crawlers och sökvägar ovan och kopiera resultatet.
- 2Spara det som en ren textfil med namnet robots.txt (UTF-8).
- 3Ladda upp den till roten av din domän så att den öppnas på https://din-doman/robots.txt. Varje underdomän behöver en egen fil.
- 4Öppna adressen i webbläsaren och kontrollera att exakt den här texten visas. Om ditt webbhotell eller CDN lägger till egna regler ser du dem där också.
Vad robots.txt inte kan
- Den skyddar ingenting. Vem som helst kan fortfarande öppna en blockerad sökväg, och filen är offentlig: den listar till och med de sökvägar du helst vill dölja.
- Den stoppar inte bottar som ignorerar den — och det är just från dem som formulärspam och automatiserade registreringar kommer.
- En blockerad sida kan ändå dyka upp i sökresultat om andra webbplatser länkar till den. Vill du hålla en sida utanför indexet, tillåt crawling och använd noindex.
Vanliga frågor
Blockerar robots.txt bottar?
Nej. Det är en begäran som väluppfostrade crawlers följer. Scrapers, spambottar och många automatiserade verktyg ignorerar den. För att stoppa dem krävs en kontroll på servern, till exempel hastighetsbegränsningar eller bottskydd på dina formulär.
Försvinner min webbplats från ChatGPT om jag blockerar GPTBot?
Inte nödvändigtvis. OpenAI använder separata namn: GPTBot för träning, OAI-SearchBot för sökning i ChatGPT och ChatGPT-User när en användare frågar om en sida. Blockerar du en av dem påverkas inte de andra. Även Anthropic och Perplexity använder separata namn för dessa syften.
Påverkar en blockering av Google-Extended min placering i Google?
Enligt Google nej. Google-Extended styr bara om innehåll som Googlebot har crawlat får användas för Gemini-modeller. Crawling och ranking i Google Sök förblir oförändrade.
Var måste filen ligga?
I roten av värden under /robots.txt — till exempel https://example.com/robots.txt. En fil i en undermapp ignoreras, och varje underdomän behöver en egen.
Vad är Content-Signal-raden?
Ett förslag som publicerats på contentsignals.org för att ange hur innehåll får användas när det har crawlats: för sökresultat, som indata till AI-svar eller för AI-träning. Den uttrycker din önskan; om en crawler respekterar den avgör dess operatör.
Skickas mina uppgifter någonstans?
Nej. Generatorn körs helt i din webbläsare. Inget av det du anger överförs eller sparas.
När bottar ignorerar din robots.txt
SilentShield bedömer inskick från dina formulär på servern utifrån beteendet som ledde fram till dem — som standard utan någon uppgift för dina besökare.