Gratis værktøj
robots.txt-generator
Bestem, hvilke crawlere der må læse dit website: søgemaskiner, AI-træningscrawlere, AI-søgning og assistenter, der henter sider på vegne af en bruger. Filen dannes i din browser — intet sendes til os.
Kort fortalt
En robots.txt er en anmodning, ikke en lås. De store søgemaskiner og AI-udbydere offentliggør navnene på deres crawlere og oplyser, at de følger filen; scrapere og spambots er ikke forpligtet til det. Brug den til at fortælle velopdragne crawlere, hvad de må læse, og kontrollér alt andet på serveren.
Udgangspunkt
Hvilke crawlere skal holdes ude?
Afkrydsede crawlere får Disallow: /. Alle andre følger reglerne for alle crawlere, også stierne længere nede.
Hver linje begynder med /, for eksempel /admin/ eller /kurv/. En * står for vilkårlige tegn.
Den fulde adresse på dit XML-sitemap, der begynder med https://.
Sådan lægger du filen online
- 1Vælg crawlere og stier ovenfor, og kopiér resultatet.
- 2Gem det som en ren tekstfil med navnet robots.txt (UTF-8).
- 3Upload den til roden af dit domæne, så den kan åbnes på https://dit-domæne/robots.txt. Hvert underdomæne skal have sin egen fil.
- 4Åbn adressen i browseren, og kontrollér, at netop denne tekst vises. Tilføjer din hostingudbyder eller dit CDN egne regler, ser du dem også der.
Hvad robots.txt ikke kan
- Den beskytter ingenting. Alle kan stadig åbne en blokeret sti, og filen er offentlig: Den nævner endda de stier, du helst ville skjule.
- Den stopper ikke bots, der ignorerer den — og netop fra dem kommer formularspam og automatiserede tilmeldinger.
- En blokeret side kan alligevel dukke op i søgeresultater, hvis andre websites linker til den. Skal en side holdes ude af indekset, så tillad crawling, og brug noindex.
Ofte stillede spørgsmål
Blokerer robots.txt bots?
Nej. Det er en anmodning, som velopdragne crawlere følger. Scrapere, spambots og mange automatiserede værktøjer ignorerer den. For at stoppe dem kræves en kontrol på serveren, for eksempel hastighedsbegrænsning eller botbeskyttelse på dine formularer.
Forsvinder mit website fra ChatGPT, hvis jeg blokerer GPTBot?
Ikke altid. OpenAI bruger separate navne: GPTBot til træning, OAI-SearchBot til søgning i ChatGPT og ChatGPT-User, når en bruger spørger om en side. Blokerer du én af dem, er de andre upåvirkede. Også Anthropic og Perplexity bruger separate navne til disse formål.
Påvirker blokering af Google-Extended min placering i Google?
Ifølge Google nej. Google-Extended styrer kun, om indhold, som Googlebot har crawlet, må bruges til Gemini-modeller. Crawling og placering i Google Søgning forbliver uændret.
Hvor skal filen ligge?
I roden af hosten under /robots.txt — for eksempel https://example.com/robots.txt. En fil i en undermappe ignoreres, og hvert underdomæne skal have sin egen.
Hvad er Content-Signal-linjen?
Et forslag offentliggjort på contentsignals.org til at angive, hvordan indhold må bruges, når det er crawlet: til søgeresultater, som input til AI-svar eller til AI-træning. Den udtrykker dit ønske; om en crawler respekterer det, afgør dens operatør.
Bliver mine indtastninger sendt nogen steder hen?
Nej. Generatoren kører udelukkende i din browser. Intet af det, du indtaster, bliver overført eller gemt.
Når bots ignorerer din robots.txt
SilentShield vurderer indsendelser fra dine formularer på serveren ud fra den adfærd, der førte til dem — som standard uden en opgave til dine besøgende.