新規のお客様向けキャンペーン−20 %月払いなら最初の3か月が20%オフ料金プランを見る
SilentShield

無料ツール

robots.txtジェネレーター

サイトを読み取ってよいクローラーを選びます。対象は検索エンジン、AI学習用クローラー、AI検索、そしてユーザーの代わりにページを取得するアシスタントです。ファイルはブラウザー内で作成され、当社には何も送信されません。

要点

robots.txtはお願いであって、鍵ではありません。大手の検索エンジンやAI事業者はクローラー名を公開し、このファイルに従うと表明していますが、スクレイパーやスパムボットにその義務はありません。行儀のよいクローラーに読み取ってよい範囲を伝えるために使い、それ以外はサーバー側で確認してください。

開始設定

締め出すクローラーはどれですか?

チェックしたクローラーにはDisallow: /が設定されます。それ以外は、下のパスを含む全クローラー向けのルールに従います。

検索エンジン

従来の検索結果のためにページをインデックスします。ブロックすると、その検索結果からサイトが消えます。

AI学習とデータ収集

AIモデルの学習用にコンテンツを収集します。Google-ExtendedとApplebot-Extendedは独立したクローラーではなく、クロール済みのコンテンツをGoogleとAppleがAIモデルに使ってよいかを制御するだけです。検索には影響しません。

AI検索

AI検索がページを表示し、出典として引用できるようにインデックスします。

ユーザーの代わりに動くアシスタント

誰かがアシスタントにページについて尋ねたときに、そのページを取得します。こうしたリクエストにはrobots.txtのルールが適用されない場合があると明記している事業者もあります。

各行は/で始めます。例:/admin/、/cart/。*は任意の文字列を表します。

https://で始まるXMLサイトマップの完全なアドレス。

コンテンツシグナル(任意)

Content-Signal行(contentsignals.org)は、クロール後のコンテンツの利用方法を示します。すべてのクローラーが読むわけではありません。

ファイルを公開する手順

  1. 1上でクローラーとパスを選び、結果をコピーします。
  2. 2robots.txtという名前のプレーンテキストファイル(UTF-8)として保存します。
  3. 3https://ご自身のドメイン/robots.txtで開けるよう、ドメインのルートにアップロードします。サブドメインごとに個別のファイルが必要です。
  4. 4そのアドレスをブラウザーで開き、このテキストがそのまま表示されることを確認します。ホスティングやCDNが独自のルールを追加している場合は、それも表示されます。

robots.txtにできないこと

  • 何も保護しません。ブロックしたパスでも誰でも開くことができ、ファイルは公開されているため、隠したいパスまで一覧になってしまいます。
  • robots.txtを無視するボットは止められません。フォームのスパムや自動登録は、まさにそうしたボットから来ます。
  • ブロックしたページでも、ほかのサイトからリンクされていれば検索結果に表示されることがあります。インデックスから外したい場合は、クロールを許可したうえでnoindexを使ってください。

よくある質問

robots.txtでボットはブロックできますか?

いいえ。行儀のよいクローラーが従うお願いにすぎません。スクレイパー、スパムボット、多くの自動化ツールはこれを無視します。それらを止めるには、レート制限やフォームのボット対策など、サーバー側での確認が必要です。

GPTBotをブロックすると、サイトはChatGPTから消えますか?

必ずしもそうではありません。OpenAIは用途ごとに名前を分けています。学習用のGPTBot、ChatGPT内の検索用のOAI-SearchBot、ユーザーがページについて尋ねたときのChatGPT-Userです。1つをブロックしても、ほかには影響しません。AnthropicとPerplexityも用途ごとに別の名前を使っています。

Google-Extendedをブロックすると、Googleでの順位に影響しますか?

Googleによれば、影響しません。Google-Extendedは、GooglebotがクロールしたコンテンツをGeminiモデルに使ってよいかを制御するだけです。Google検索でのクロールと順位は変わりません。

ファイルはどこに置く必要がありますか?

ホストのルートの/robots.txtです。例:https://example.com/robots.txt。サブフォルダーに置いたファイルは無視され、サブドメインごとに個別のファイルが必要です。

Content-Signal行とは何ですか?

contentsignals.orgで公開されている提案で、クロール後のコンテンツを検索結果、AIの回答への入力、AI学習のどれに使ってよいかを示します。これは意思表示であり、尊重するかどうかは各クローラーの運営者が決めます。

入力した内容はどこかに送信されますか?

いいえ。ジェネレーターはすべてブラウザー内で動作します。入力した内容が送信・保存されることはありません。

ボットがrobots.txtを無視するとき

SilentShieldは、フォームの送信をその前の行動にもとづいてサーバー側で評価します。初期設定では訪問者に課題を出しません。