Go TopSEO
無料ツール

サイトはどのAIクローラーを拒否していますか

robots.txt を読み取り、AIクローラーごとに許可か拒否かをお見せします。あわせて、ファイルのどの行がそう判定したかもお示しします。

  • 登録不要、メールアドレスも不要
  • 1つのファイルを1回読み取るだけ
  • トップページだけでなく、特定のパスも確認できます

空欄のままにすると、トップページを確認します。robots.txt の指定はパスごとに変わります。

それぞれの正体

この表は単体で読めます。User-agent の行に現れるクローラー名、運営元、そして何のためのものかです。

User-agent運営元何のためか
GPTBotOpenAI学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
OAI-SearchBotOpenAI検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
ChatGPT-UserOpenAIその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
ClaudeBotAnthropic学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Claude-SearchBotAnthropic検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Claude-UserAnthropicその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
Google-ExtendedGoogle学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
PerplexityBotPerplexity検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
Perplexity-UserPerplexityその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
Applebot-ExtendedApple学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
Meta-ExternalAgentMeta学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
meta-externalfetcherMetaその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
AmazonbotAmazonその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
CCBotCommon Crawl学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
BytespiderByteDance学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
cohere-aiCohere学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
DiffbotDiffbot学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
AI2BotAllen Institute for AI学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
TimpibotTimpi学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
omgiliWebz.io学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。
MistralAI-UserMistral AIその場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。
GooglebotGoogle検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
BingbotMicrosoft検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。
ApplebotApple検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。

この確認では分からないこと

  • robots.txt はお願いであって、壁ではありません。クローラーは無視できます。
  • robots.txt が許可しているクローラーを、ファイアウォールやCDNが拒否していることがあります。
  • この確認は、ある一瞬の状態を示すものです。ファイルを書き換えれば、答えはすぐ変わります。
  • 学習クローラーを拒否することと、その場で回答するクローラーを拒否することは、まったく別の判断です。

AIが実際に自社に言及しているかを確かめる

アクセスできるかどうかは最初の一歩にすぎません。Go Top SEOは、ChatGPT、Gemini、Google AIの回答に自社が出てくるかを自動で確認し、GoogleとGoogleマップでの順位を毎月追跡します。

7日間の無料トライアル、クレジットカードは不要
無料デモ