Go TopSEO
無料ツール

サイトはどのAIクローラーを拒否していますか

robots.txt を読み取り、AIクローラーごとに許可か拒否かをお見せします。あわせて、ファイルのどの行がそう判定したかもお示しします。

  • 登録不要、メールアドレスも不要
  • 1つのファイルを1回読み取るだけ
  • トップページだけでなく、特定のパスも確認できます

空欄のままにすると、トップページを確認します。robots.txt の指定はパスごとに変わります。

それぞれの正体

この表は単体で読めます。User-agent の行に現れるクローラー名、運営元、そして何のためのものかです。

User-agent運営元何のためか
GPTBotOpenAI学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
OAI-SearchBotOpenAI検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
ChatGPT-UserOpenAIその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
OAI-AdsBotOpenAI広告広告のリンク先ページを確認します。拒否しても、回答にも検索インデックスにも影響しません。
ClaudeBotAnthropic学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Claude-SearchBotAnthropic検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Claude-UserAnthropicその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
Claude-AgentAnthropicAgent im BrowserEin Browser, den ein KI-Agent für eine Person steuert. Ihn zu blockieren ändert nichts an dem, was ein Modell weiß: es verhindert, dass Ihre Besucher einen Assistenten auf Ihrer Seite etwas tun lassen.
Google-ExtendedGoogle学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
GoogleOtherGoogle学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Google-CloudVertexBotGoogle検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
PerplexityBotPerplexity検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Perplexity-UserPerplexityその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
Applebot-ExtendedApple学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Meta-ExternalAgentMeta学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Meta-WebIndexerMeta検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Meta-ExternalFetcherMetaその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
Meta-ExternalAdsMeta広告広告のリンク先ページを確認します。拒否しても、回答にも検索インデックスにも影響しません。
FacebookExternalHitMetaリンクプレビューリンクが共有されたときに表示されるタイトルと画像を作ります。拒否すると共有が空のまま表示されます。
AmazonbotAmazonその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
CCBotCommon Crawl学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
AI2BotAllen Institute for AI学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
DiffbotDiffbot学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
MistralAI-IndexMistral AI検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
MistralAI-TrainingMistral AI学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
MistralAI-UserMistral AIその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
DuckAssistBotDuckDuckGoその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
KagibotKagi検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
GooglebotGoogle検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
ApplebotApple検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
BingbotMicrosoft検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Bytespider †ByteDance学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
cohere-ai †Cohere学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Timpibot †Timpi学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
omgili †Webz.io学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。

† この製品トークンを記載した運営者自身のページは見つかっていません。サーバーログで見かけるため掲載していますが、運営者の文書に基づく行とは分けてあります。

robots.txt の行をつくる

クローラーごとに決めていただければ、そのとおりの行をこちらで書きます。どこにも送信されません。ファイルはお使いのブラウザー内で組み立てられます。

  • GPTBotOpenAI · 学習
  • OAI-SearchBotOpenAI · 検索インデックス
  • ChatGPT-UserOpenAI · その場での回答
  • OAI-AdsBotOpenAI · 広告
  • ClaudeBotAnthropic · 学習
  • Claude-SearchBotAnthropic · 検索インデックス
  • Claude-UserAnthropic · その場での回答
  • Claude-AgentAnthropic · Agent im Browserこのクローラーは robots.txt を尊重すると明言していません
  • Google-ExtendedGoogle · 学習
  • GoogleOtherGoogle · 学習
  • Google-CloudVertexBotGoogle · 検索インデックス
  • PerplexityBotPerplexity · 検索インデックス
  • Perplexity-UserPerplexity · その場での回答このクローラーは robots.txt を尊重すると明言していません
  • Applebot-ExtendedApple · 学習
  • Meta-ExternalAgentMeta · 学習
  • Meta-WebIndexerMeta · 検索インデックス
  • Meta-ExternalFetcherMeta · その場での回答このクローラーは robots.txt を尊重すると明言していません
  • Meta-ExternalAdsMeta · 広告
  • FacebookExternalHitMeta · リンクプレビューこのクローラーは robots.txt を尊重すると明言していません
  • AmazonbotAmazon · その場での回答
  • CCBotCommon Crawl · 学習
  • AI2BotAllen Institute for AI · 学習
  • DiffbotDiffbot · 学習
  • MistralAI-IndexMistral AI · 検索インデックス
  • MistralAI-TrainingMistral AI · 学習
  • MistralAI-UserMistral AI · その場での回答
  • DuckAssistBotDuckDuckGo · その場での回答
  • KagibotKagi · 検索インデックス
  • BytespiderByteDance · 学習このクローラーは robots.txt を尊重すると明言していません
  • cohere-aiCohere · 学習このクローラーは robots.txt を尊重すると明言していません
  • TimpibotTimpi · 学習このクローラーは robots.txt を尊重すると明言していません
  • omgiliWebz.io · 学習このクローラーは robots.txt を尊重すると明言していません

あなたの robots.txt の行

まだどのクローラーも決めていないので、追加する行はありません。上で選ぶと行が表示されます。

どれだけのサイトが実際にブロックしているか

下記の日付に、ここに挙げた各市場で上位にあるサイトの robots.txt を読み、上の表と突き合わせました。

GPTBot をブロックしているサイトのうち、66.5% は訪問者を連れてくるはずの AI クローラーも併せてブロックしています。

対象は上位にある大規模サイトであり、小規模事業者ではありません。小規模事業者では、意図的なブロックは少なく放置が多い、という別の姿になる可能性が高いです。これらの数値を小規模事業者の実態として読まないでください。

市場訪問者を連れてくる AI クローラーをブロック
.nl31.5%
.com29.7%
.fr25.8%
.it16.2%
.es15%
.jp13.7%
.de12.3%

割合は、実際に読み取れた robots.txt 528 件に対するものであり、リクエストしたドメイン数に対するものではありません。

ブラジルとポルトガルは標本に含まれていません。.com の数値は英語圏のグローバルな区分であり、いずれの国の数値でもありません。

測定日

測定結果の全体は、オープンデータとして公開しています: JSON · CSV

2026-11-09に、今回はすべてのドメインを残したうえで再度読み取りました。GPTBot をブロックしているサイトのうち 80.3% は GPTBot を名指しした規則を書いており、ブロックは判断の結果です。一方、利用者が目にする回答の裏側で動く OAI-SearchBot をブロックしているサイトのうち 43.6% は、それを選んでいません。すべてのボットを一律に対象とする規則から来たブロックです。

この再読み取りは、要求した 700 ドメインのうち読み取れた 407 件が対象です。145 件のホストはこの読み取りを拒否しました。正体の分からない自動読み取りを拒否するホストは AI クローラーも制限している可能性が高いため、この数値はブロックの実態を過大にではなく過小に示していると考えられます。

国別トップレベルごと

同じ読み取りをトップレベルで分けたものです。各行の割合はそのトップレベルで読めたファイルに対するものであり、要求したドメイン数に対するものではありません。

市場読めたファイルGPTBotをブロックOAI-SearchBotをブロック
.it65 / 10015 (23.1%)15 うち意図的5 (7.7%)0 うち継承
.es64 / 10011 (17.2%)9 うち意図的5 (7.8%)2 うち継承
.fr59 / 1007 (11.9%)6 うち意図的4 (6.8%)1 うち継承
.nl59 / 10010 (16.9%)8 うち意図的4 (6.8%)2 うち継承
.com56 / 10017 (30.4%)10 うち意図的12 (21.4%)9 うち継承
.de55 / 1008 (14.5%)7 うち意図的4 (7.3%)1 うち継承
.jp49 / 1008 (16.3%)6 うち意図的5 (10.2%)2 うち継承

各ドメインの判定、判定した規則グループ、そして該当行そのもの: JSON · CSV

二回目の調査、さらに五つの市場

2026-11-17に、一回目では扱わなかった市場で robots.txt をさらに350件読みました。そこではブロックが少なく、GPTBot をブロックしているサイトのうち訪問者を連れてくるクローラーまで締め出しているのは42.3%で、上の表の66.5%を下回ります。二つの調査結果は決して足し合わせません。

市場訪問者を連れてくる AI クローラーをブロック
.kr14.8%
.se11.3%
.pl9.1%
.br6.1%
.gr4.1%

同じ但し書きがここにも当てはまります。対象は上位にランクされた大規模サイトであり、小規模事業者ではありません。韓国は五つの市場のうち読み取れたファイルが最も少なく、その数値は他より振れ幅が大きくなります。

この確認では分からないこと

  • robots.txt はお願いであって、壁ではありません。クローラーは無視できます。
  • robots.txt が許可しているクローラーを、ファイアウォールやCDNが拒否していることがあります。
  • この確認は、ある一瞬の状態を示すものです。ファイルを書き換えれば、答えはすぐ変わります。
  • 学習クローラーを拒否することと、その場で回答するクローラーを拒否することは、まったく別の判断です。

AIが実際に自社に言及しているかを確かめる

アクセスできるかどうかは最初の一歩にすぎません。Go Top SEOは、ChatGPT、Gemini、Google AIの回答に自社が出てくるかを自動で確認し、GoogleとGoogleマップでの順位を毎月追跡します。

7日間の無料トライアル、クレジットカードは不要
無料デモ