Ingyenes eszköz
robots.txt-generátor
Döntse el, mely crawlerek olvashatják a webhelyét: keresők, MI-tanító crawlerek, MI-alapú keresés és olyan asszisztensek, amelyek egy felhasználó nevében kérnek le oldalakat. A fájl a böngészőjében készül — hozzánk semmi sem jut el.
Röviden
A robots.txt kérés, nem zár. A nagy keresők és MI-szolgáltatók közzéteszik crawlereik nevét, és kijelentik, hogy betartják a fájlt; a scraperek és spambotok nem kötelesek erre. Használja arra, hogy közölje a tisztességes crawlerekkel, mit olvashatnak, minden mást pedig a szerveren ellenőrizzen.
Kiindulópont
Mely crawlerek maradjanak kint?
A bejelölt crawlerek Disallow: / szabályt kapnak. Az összes többi a minden crawlerre vonatkozó szabályokat követi, az alábbi útvonalakkal együtt.
Minden sor /-rel kezdődik, például /admin/ vagy /kosar/. A * tetszőleges karaktereket jelent.
Az XML-oldaltérkép teljes címe, https:// előtaggal.
Így teheti közzé a fájlt
- 1Válassza ki fent a crawlereket és az útvonalakat, majd másolja ki az eredményt.
- 2Mentse egyszerű szövegfájlként robots.txt néven (UTF-8).
- 3Töltse fel a domainje gyökérkönyvtárába, hogy a https://az-on-domainje/robots.txt címen megnyíljon. Minden aldomainnek saját fájl kell.
- 4Nyissa meg a címet a böngészőben, és ellenőrizze, hogy pontosan ez a szöveg jelenik-e meg. Ha a tárhelyszolgáltató vagy a CDN saját szabályokat tesz hozzá, azokat is ott látja.
Amire a robots.txt nem képes
- Semmit sem véd. Egy letiltott útvonalat bárki továbbra is megnyithat, a fájl pedig nyilvános: még azokat az útvonalakat is felsorolja, amelyeket inkább elrejtene.
- Nem állítja meg azokat a botokat, amelyek figyelmen kívül hagyják — pedig éppen tőlük ered az űrlapspam és az automatikus regisztráció.
- Egy letiltott oldal akkor is megjelenhet a találatok között, ha más webhelyek hivatkoznak rá. Ha egy oldalt távol szeretne tartani az indextől, engedélyezze a feltérképezést, és használja a noindex jelölést.
Gyakori kérdések
Blokkolja a robots.txt a botokat?
Nem. Ez egy kérés, amelyet a tisztességes crawlerek betartanak. A scraperek, spambotok és számos automatizált eszköz figyelmen kívül hagyja. Megállításukhoz ellenőrzés kell a szerveren, például kéréskorlátozás vagy botvédelem az űrlapjain.
Eltűnik a webhelyem a ChatGPT-ből, ha letiltom a GPTBotot?
Nem feltétlenül. Az OpenAI külön neveket használ: GPTBot a tanításhoz, OAI-SearchBot a ChatGPT keresőjéhez és ChatGPT-User, amikor egy felhasználó egy oldalról kérdez. Az egyik letiltása a többit nem érinti. Az Anthropic és a Perplexity is külön neveket használ ezekre a célokra.
Befolyásolja a Google-Extended letiltása a Google-helyezésemet?
A Google szerint nem. A Google-Extended csak azt szabályozza, hogy a Googlebot által begyűjtött tartalom felhasználható-e a Gemini-modellekhez. A feltérképezés és a helyezés a Google Keresőben változatlan marad.
Hol kell lennie a fájlnak?
A gazdagép gyökerében, a /robots.txt címen — például https://example.com/robots.txt. Az almappában lévő fájlt figyelmen kívül hagyják, és minden aldomainnek saját fájl kell.
Mi a Content-Signal sor?
A contentsignals.org oldalon közzétett javaslat annak megadására, hogyan használható fel a tartalom a begyűjtés után: keresési találatokhoz, MI-válaszok bemeneteként vagy MI-tanításhoz. Az Ön kívánságát fejezi ki; hogy egy crawler tiszteletben tartja-e, az üzemeltetőjén múlik.
Elküldik valahová a megadott adataimat?
Nem. A generátor teljes egészében az Ön böngészőjében fut. Semmi sem kerül továbbításra vagy mentésre abból, amit megad.
Ha a botok figyelmen kívül hagyják a robots.txt-t
A SilentShield a szerveren értékeli az űrlapjairól érkező beküldéseket az őket megelőző viselkedés alapján — alapértelmezés szerint a látogatóknak adott feladat nélkül.