AEOLab.AI USE & SEARCH RESEARCH
メニュー

RESEARCH 001 / TECHNICAL

AI検索クローラー制御表：検索利用と学習利用を分けて考える

Google、OpenAI、Microsoftの公式情報から、AI検索への掲載、検索クロール、モデル学習の制御方法を比較します。

状態
公開
公開
更新
読了目安
約10分
編集
AEOLab.編集部
更新履歴を見る
  1. 実務資料一覧とAEO計測テンプレートへの導線を追加しました。
  2. Google、OpenAI、Microsoftの公式仕様比較を初版公開しました。
ANSWERAI検索への表示とモデル学習は同じ制御ではありません。ChatGPT検索はOAI-SearchBot、OpenAIの学習利用はGPTBotで分けて制御できます。Google検索のAI機能は通常のGoogle検索インデックスを基盤とし、専用のAI向けマークアップは不要です。

「AIに読ませたいから、すべてのAIクローラーを許可する」という判断は粗すぎます。検索結果や回答の根拠として使われるための取得と、将来のモデル改善に使われる取得は、提供者によって別の仕組みとして案内されています。

公式情報の比較

提供者検索・回答面学習利用実務上の確認
GoogleGoogle Searchのインデックスと通常の検索要件が基盤。AI Overview / AI Mode専用の追加要件はない。Google-Extendedは一部の生成AIモデル改善などの制御に用いられる。Googlebotのクロール、index、snippet可否、Search Consoleを確認する。
OpenAIOAI-SearchBotを許可すると、ChatGPT検索で発見・引用される可能性を確保できる。GPTBotでモデル学習への利用可否を制御する。robots.txtで両者を混同しない。ChatGPT流入は`utm_source=chatgpt.com`で識別できる。
Microsoft BingBingのクロールとインデックスがCopilotなどのAI検索面の発見基盤になる。コンテンツ利用の制御はBingの検索・プレビュー制御方針を確認する。XML sitemap、正しい`lastmod`、Bing Webmaster Tools、更新時のIndexNowを使う。

LIMIT
この表は、各社が公開しているサイト運営者向け仕様を比較したものです。掲載や引用を保証するものではありません。仕様変更があれば更新します。

このサイトでの実装判断

検索用クローラーは許可する

公開調査を見つけてもらうため、一般的な検索クローラーとOAI-SearchBotを遮断しません。重要な本文はJavaScript実行を前提とせず、静的HTMLに含めます。

学習利用の判断は検索掲載と分離する

GPTBotなど学習用途の制御は、検索に出たいかどうかとは別の意思決定として扱います。初期版では公開情報として許可し、方針変更時は編集方針とrobots.txtを同時に更新します。

更新通知は正確さを優先する

サイトマップの`lastmod`は本文を実際に更新した日だけ変更します。公開後はBing向けのIndexNow導入を検討し、更新していないURLを機械的に再送しません。

参照した一次資料

  1. Google Search Central「AI features and your website」AI検索面の掲載要件、クロール、構造化データ、プレビュー制御。
  2. Google Search Central「Optimizing your website for generative AI features」AEO/GEO、独自コンテンツ、llms.txt、技術要件に関する公式整理。
  3. OpenAI「Publishers and Developers FAQ」OAI-SearchBot、GPTBot、ChatGPT経由流入の識別。