AIクローラー許可設定とrobots.txt実装｜2026年UA一覧

「ChatGPTやClaude、PerplexityにうちのサイトがAIの回答に出てこない」「AIに学習されたくないけど、どう設定すればいいのか分からない」——AI検索が無視できない集客チャネルになった今、こうした悩みを抱える事業者が増えています。
その入り口にあるのが、サイトの一番上に置く小さなテキストファイル「robots.txt」での、AIクローラーの許可・拒否の設定です。

結論から言えば、AI検索に引用されて新しい問い合わせにつなげたいなら、検索用のAIクローラー(OAI-SearchBot・Claude-SearchBot・PerplexityBot)は許可するのが基本です。
一方で、自社コンテンツの学習利用を避けたい場合は、学習用のクローラー(GPTBot・ClaudeBot・Google-Extended)だけをピンポイントで拒否できます。
鍵は「学習用」と「検索・回答用」を区別して書き分けることです。

この記事では、2026年6月時点で各社が公式に公表しているユーザーエージェント(UA)の一覧と、許可・拒否の判断基準、そしてコピーして使えるrobots.txtの記述例を、中小企業・個人事業主の目線でまとめます。

AIクローラーとは何か？従来の検索ボットと何が違う？

AIクローラーとは、ChatGPTやClaudeなどの生成AIが学習や回答生成のために自社サイトを巡回する自動プログラムで、従来のGooglebotとは目的も制御単位も別物です。

これまでサイトを巡回するボットといえば、Google検索のインデックスに載せるための「Googlebot」が代表でした。
AIクローラーはこれに加わった新しいプレイヤーで、大きく次の役割があります。

• 生成AIの<mark>学習データ</mark>(モデルの土台になる知識)を集めるもの
• AI検索・AIアシスタントが回答を作るときに、出典としてサイトを参照するもの
• ユーザーが「このページを読んで」と頼んだときに、その場でページを取りに行くもの

robots.txt(ロボッツテキスト)とは、サイトのルート(例: example.com/robots.txt)に置くテキストファイルで、「どのボットにどこを巡回してよいか」を伝える業界標準の仕組みです。
AIクローラーの多くはこのrobots.txtを尊重すると各社が公式に表明しています。
つまり、特別なツールを入れなくても、このファイルへの数行の追記でAIクローラーの出入りをコントロールできます。

AI検索全体の考え方や、引用されるための土台づくりは、AI検索(LLMO/GEO/AIO)対策とは何かを解説した総論記事で詳しく扱っています。
本記事はその実装編にあたります。

2026年時点の主要AIクローラーのユーザーエージェント一覧は？

2026年6月時点で押さえるべき主要UAは、OpenAI・Anthropic・Perplexity・Googleの計10前後で、いずれも各社の公式ドキュメントでトークン名が公開されています。

robots.txtで指定するときに使うのは、UAの「トークン名」と呼ばれる短い識別子です。
下表は各社公式が公表する内容を、目的別に整理したものです。

提供元	UA(トークン名)	目的	robots.txt遵守
OpenAI	GPTBot	モデルの学習データ収集	する
OpenAI	OAI-SearchBot	ChatGPT検索の結果表示	する
OpenAI	ChatGPT-User	ユーザー操作時の取得	適用されない場合あり
Anthropic	ClaudeBot	モデルの学習データ収集	する
Anthropic	Claude-SearchBot	検索品質向上のための巡回	する
Anthropic	Claude-User	ユーザーの質問対応時の取得	する(指定可)
Perplexity	PerplexityBot	検索結果での表示・リンク	する
Perplexity	Perplexity-User	ユーザー起点の取得	原則適用されない(一般に無視)
Google	Google-Extended	Gemini等の学習・グラウンディング制御	する(制御専用トークン)
Google	Googlebot	Google検索のインデックス	する

出典：OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web?」、Perplexity「PerplexityBot」、Google「Google Crawlers」(いずれも2026年6月時点)

ここで重要なのは、<mark>同じ会社でも複数のUAを使い分けている</mark>という事実です。
たとえばOpenAIは「学習(GPTBot)」「検索(OAI-SearchBot)」「ユーザー操作(ChatGPT-User)」を別UAで運用しています。
「OpenAIを拒否=GPTBotを拒否」と思い込むと、検索用のOAI-SearchBotはそのまま素通りで、意図とずれた設定になりがちです。

なお、Google-ExtendedはGoogleが「実際に巡回する単独のクローラーではなく、AI利用を制御するための製品トークン」と説明しています。
robots.txtでの記述方法は他のUAと同じですが、役割は「Geminiの学習・グラウンディングに使ってよいか」を伝える制御専用である点を押さえておきましょう。

AIクローラーは許可すべき？拒否すべき？判断基準は？

AI検索からの集客を増やしたいなら検索・回答用のUAは許可し、学習利用だけを避けたいなら学習用のUAだけを拒否する、という目的別の使い分けが基本です。

「全部ブロックすれば安心」とは限りません。
検索用クローラーまで止めると、ChatGPT検索やPerplexityの回答に自社が出典として載る可能性そのものを下げてしまいます。
判断は次の軸で考えると整理しやすくなります。

許可を検討したいケース

• AI検索(ChatGPT検索・Perplexity等)の回答に引用され、サイトへの流入を増やしたい
• サービス内容・料金・実績など、見込み客に正しく届けたい情報がある
• このケースでは、検索系UA(OAI-SearchBot・Claude-SearchBot・PerplexityBot)を許可するのが合理的です

拒否を検討したいケース

• 制作したコンテンツや独自データを、AIモデルの学習素材に使われたくない
• 会員限定・有料・未公開エリアなど、そもそも公開を絞っているページがある
• このケースでは、学習系UA(GPTBot・ClaudeBot・Google-Extended)を拒否します

Google-Extendedは特殊で、<mark>Google検索の掲載順位やインデックスには影響しない</mark>とGoogleが明言しています。
つまり「Geminiの学習には使わせたくないが、Google検索には今まで通り出したい」を両立できる設計になっています。

robots.txtの具体的な記述例は？コピーして使える書き方

robots.txtはUAごとにUser-agent行とDisallow行を並べて書くだけで、用途に応じた記述例をそのまま流用できます。

robots.txtの基本構文は、対象を指定する「User-agent:」と、巡回を禁じる「Disallow:」の2行が1セットです。
Disallowを空にすると「全許可」、/を指定すると「全拒否」を意味します。
代表的なパターンを示します。

パターン1：学習は拒否、検索・回答は許可(AI検索で集客したい場合)

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Disallow:

User-agent: Claude-SearchBot
Disallow:

User-agent: PerplexityBot
Disallow:

User-agent行とDisallow行はそれぞれ改行で記述し、コロンの後には半角スペースを置きます。
上記をベースに、許可したいUAはDisallowを空のまま、拒否したいUAはDisallow: /にして調整してください。

パターン2：すべてのAI学習をまとめて拒否したい場合

学習系UAを並べてDisallow: /を指定します。
GPTBot・ClaudeBot・Google-Extendedの3つを書くだけでも、主要な学習利用の多くをカバーできます。

パターン3：特定ディレクトリだけ学習から外したい場合

サイト全体は許可しつつ、たとえば独自データを置いた/data/配下だけ学習させたくない場合は、対象UAに対してDisallow: /data/のように部分指定します。

ファイルは必ずドメイン直下(例: https://example.com/robots.txt)に置きます。
サブディレクトリに置いても認識されません。

robots.txtはSEOの技術的な土台の一部でもあります。
クロールとインデックスの基本を含めて見直したい方は、ホームページのSEO対策の基礎知識もあわせてご覧ください。

robots.txtで防げないAIクローラーはある？

ChatGPT-UserやPerplexity-Userのような「ユーザー操作起点」のUAは、robots.txtのルールが適用されない場合があると各社が公式に明記しています。

AIクローラーは大きく「巡回型」と「ユーザー起点型」に分かれます。
巡回型(GPTBot・PerplexityBotなど)は自動でサイトを回るため、robots.txtを尊重します。
一方、ユーザー起点型は「ユーザーが特定のページを読むよう指示した」ことに応じてその場で取得するため、扱いが異なります。

• OpenAIは、ChatGPT-Userはユーザーが起点の取得であり、robots.txtのルールが適用されない場合があると説明しています。
• Perplexityも、Perplexity-Userはユーザーの要求に応じた取得のため、robots.txtのルールを一般に無視すると公式に記載しています。

つまり、robots.txtは「学習やインデックスを目的とした巡回」を止めるのには有効ですが、「人間が今まさにそのページを開こうとしている」アクセスまでは止められません。
取得を確実に遮断したいページは、そもそも認証(ログイン)の内側に置く、非公開にするといった措置が必要です。

予算・リスクに合わせた依頼先の選び方は？

robots.txtの編集自体は数行でも、CMSの構成によっては触れる場所が分かりにくく、設定先を誤ると意図しないページの非公開につながるため、不安があれば対応範囲に合わせて依頼先を選ぶと無駄がありません。

「自分で設定するのは不安」「AI検索を意識したサイト設計から相談したい」という場合は、ゴールに応じて依頼先を選びましょう。
弊社では予算とゴールに応じて次のプランをご用意しています(読み飛ばしていただいて構いません)。

プラン	想定される向き
ベーシック	まず公開と最低限の技術設定を整えたい方
スタンダード	SEO・AI検索を意識した構成で作りたい方
ハイグレード	設計から運用まで包括的に任せたい方
成果報酬型	初期費用を抑え成果に応じて支払いたい方

どのプランが合うか分からない場合は、お問い合わせフォームから無料でご相談いただけます。
現状のrobots.txtを確認したうえで、許可・拒否の方針までご提案します。

まとめ：AIクローラーの許可設定で押さえる要点

• AIクローラーは「学習用」「検索・回答用」「ユーザー操作用」の3種類に分かれ、robots.txtでの扱いが異なります。
• 2026年6月時点の主要UAはGPTBot・OAI-SearchBot・ChatGPT-User・ClaudeBot・Claude-SearchBot・PerplexityBot・Google-Extendedなどで、いずれも公式が公開しています。
• AI検索で集客したいなら検索系UAは許可、学習だけ避けたいなら学習系UA(GPTBot・ClaudeBot・Google-Extended)のみ拒否が基本です。
• Google-ExtendedはGoogle検索の順位・インデックスに影響しないため、学習拒否と検索掲載を両立できます。
• ChatGPT-User・Perplexity-Userはrobots.txtのルールが適用されない場合があり、確実な遮断はアクセス制御で行う必要があります。

AIクローラーの許可設定に関するよくある質問

AIクローラーを全部ブロックするとどうなりますか？

学習だけでなくAI検索の参照も止まり、ChatGPT検索やPerplexityの回答に出典として載る機会を下げます。
集客を狙うなら検索系は許可が無難です。

robots.txtで拒否すれば学習データから確実に消えますか？

今後の巡回は止められますが、過去に取得済みのデータが即座に消えるとは限りません。
早めの設定が望ましいです。

GPTBotを拒否すればOpenAI全体を止められますか？

止まるのは学習用のGPTBotだけです。
検索用のOAI-SearchBotやChatGPT-Userは別UAなので、必要に応じて個別に指定してください。

WordPressでもrobots.txtを編集できますか？

できます。
SEO系プラグインの設定画面か、サーバー上のファイルを直接編集します。
仮想robots.txtを使う構成もあるため事前確認が必要です。