Ajánlat új ügyfeleknek−20 %20 % kedvezmény az első 3 hónapra havi fizetés eseténCsomagok megtekintése
SilentShield

Ingyenes eszköz

robots.txt-generátor

Döntse el, mely crawlerek olvashatják a webhelyét: keresők, MI-tanító crawlerek, MI-alapú keresés és olyan asszisztensek, amelyek egy felhasználó nevében kérnek le oldalakat. A fájl a böngészőjében készül — hozzánk semmi sem jut el.

Röviden

A robots.txt kérés, nem zár. A nagy keresők és MI-szolgáltatók közzéteszik crawlereik nevét, és kijelentik, hogy betartják a fájlt; a scraperek és spambotok nem kötelesek erre. Használja arra, hogy közölje a tisztességes crawlerekkel, mit olvashatnak, minden mást pedig a szerveren ellenőrizzen.

Kiindulópont

Mely crawlerek maradjanak kint?

A bejelölt crawlerek Disallow: / szabályt kapnak. Az összes többi a minden crawlerre vonatkozó szabályokat követi, az alábbi útvonalakkal együtt.

Keresők

Indexelik az oldalait a hagyományos kereséshez. Ha letiltja őket, webhelye eltűnik a találataik közül.

MI-tanítás és adatgyűjtés

Szövegeket és képeket gyűjtenek MI-modellek tanításához. A Google-Extended és az Applebot-Extended nem önálló crawler: csak azt szabályozzák, hogy a Google és az Apple felhasználhatja-e a begyűjtött anyagot MI-modelljeihez. A keresést ez nem érinti.

MI-alapú keresés

Oldalakat indexelnek, hogy az MI-alapú keresés megjeleníthesse és forrásként idézhesse őket.

Felhasználó nevében eljáró asszisztensek

Lekérnek egy oldalt, amikor valaki egy asszisztenst kérdez róla. Egyes szolgáltatók szerint a robots.txt szabályai ezekre a kérésekre nem feltétlenül vonatkoznak.

Minden sor /-rel kezdődik, például /admin/ vagy /kosar/. A * tetszőleges karaktereket jelent.

Az XML-oldaltérkép teljes címe, https:// előtaggal.

Tartalomjelzések (nem kötelező)

A Content-Signal sor (contentsignals.org) megadja, hogyan használható fel a tartalom a begyűjtés után. Nem minden crawler olvassa.

Így teheti közzé a fájlt

  1. 1Válassza ki fent a crawlereket és az útvonalakat, majd másolja ki az eredményt.
  2. 2Mentse egyszerű szövegfájlként robots.txt néven (UTF-8).
  3. 3Töltse fel a domainje gyökérkönyvtárába, hogy a https://az-on-domainje/robots.txt címen megnyíljon. Minden aldomainnek saját fájl kell.
  4. 4Nyissa meg a címet a böngészőben, és ellenőrizze, hogy pontosan ez a szöveg jelenik-e meg. Ha a tárhelyszolgáltató vagy a CDN saját szabályokat tesz hozzá, azokat is ott látja.

Amire a robots.txt nem képes

  • Semmit sem véd. Egy letiltott útvonalat bárki továbbra is megnyithat, a fájl pedig nyilvános: még azokat az útvonalakat is felsorolja, amelyeket inkább elrejtene.
  • Nem állítja meg azokat a botokat, amelyek figyelmen kívül hagyják — pedig éppen tőlük ered az űrlapspam és az automatikus regisztráció.
  • Egy letiltott oldal akkor is megjelenhet a találatok között, ha más webhelyek hivatkoznak rá. Ha egy oldalt távol szeretne tartani az indextől, engedélyezze a feltérképezést, és használja a noindex jelölést.

Gyakori kérdések

Blokkolja a robots.txt a botokat?

Nem. Ez egy kérés, amelyet a tisztességes crawlerek betartanak. A scraperek, spambotok és számos automatizált eszköz figyelmen kívül hagyja. Megállításukhoz ellenőrzés kell a szerveren, például kéréskorlátozás vagy botvédelem az űrlapjain.

Eltűnik a webhelyem a ChatGPT-ből, ha letiltom a GPTBotot?

Nem feltétlenül. Az OpenAI külön neveket használ: GPTBot a tanításhoz, OAI-SearchBot a ChatGPT keresőjéhez és ChatGPT-User, amikor egy felhasználó egy oldalról kérdez. Az egyik letiltása a többit nem érinti. Az Anthropic és a Perplexity is külön neveket használ ezekre a célokra.

Befolyásolja a Google-Extended letiltása a Google-helyezésemet?

A Google szerint nem. A Google-Extended csak azt szabályozza, hogy a Googlebot által begyűjtött tartalom felhasználható-e a Gemini-modellekhez. A feltérképezés és a helyezés a Google Keresőben változatlan marad.

Hol kell lennie a fájlnak?

A gazdagép gyökerében, a /robots.txt címen — például https://example.com/robots.txt. Az almappában lévő fájlt figyelmen kívül hagyják, és minden aldomainnek saját fájl kell.

Mi a Content-Signal sor?

A contentsignals.org oldalon közzétett javaslat annak megadására, hogyan használható fel a tartalom a begyűjtés után: keresési találatokhoz, MI-válaszok bemeneteként vagy MI-tanításhoz. Az Ön kívánságát fejezi ki; hogy egy crawler tiszteletben tartja-e, az üzemeltetőjén múlik.

Elküldik valahová a megadott adataimat?

Nem. A generátor teljes egészében az Ön böngészőjében fut. Semmi sem kerül továbbításra vagy mentésre abból, amit megad.

Ha a botok figyelmen kívül hagyják a robots.txt-t

A SilentShield a szerveren értékeli az űrlapjairól érkező beküldéseket az őket megelőző viselkedés alapján — alapértelmezés szerint a látogatóknak adott feladat nélkül.