サイトはどのAIクローラーを拒否していますか
robots.txt を読み取り、AIクローラーごとに許可か拒否かをお見せします。あわせて、ファイルのどの行がそう判定したかもお示しします。
- 登録不要、メールアドレスも不要
- 1つのファイルを1回読み取るだけ
- トップページだけでなく、特定のパスも確認できます
それぞれの正体
この表は単体で読めます。User-agent の行に現れるクローラー名、運営元、そして何のためのものかです。
| User-agent | 運営元 | 何のためか |
|---|---|---|
GPTBot | OpenAI | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
OAI-SearchBot | OpenAI | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
ChatGPT-User | OpenAI | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
OAI-AdsBot | OpenAI | 広告広告のリンク先ページを確認します。拒否しても、回答にも検索インデックスにも影響しません。 |
ClaudeBot | Anthropic | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
Claude-SearchBot | Anthropic | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Claude-User | Anthropic | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
Claude-Agent | Anthropic | Agent im BrowserEin Browser, den ein KI-Agent für eine Person steuert. Ihn zu blockieren ändert nichts an dem, was ein Modell weiß: es verhindert, dass Ihre Besucher einen Assistenten auf Ihrer Seite etwas tun lassen. |
Google-Extended | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 | |
GoogleOther | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 | |
Google-CloudVertexBot | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 | |
PerplexityBot | Perplexity | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Perplexity-User | Perplexity | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
Applebot-Extended | Apple | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
Meta-ExternalAgent | Meta | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
Meta-WebIndexer | Meta | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Meta-ExternalFetcher | Meta | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
Meta-ExternalAds | Meta | 広告広告のリンク先ページを確認します。拒否しても、回答にも検索インデックスにも影響しません。 |
FacebookExternalHit | Meta | リンクプレビューリンクが共有されたときに表示されるタイトルと画像を作ります。拒否すると共有が空のまま表示されます。 |
Amazonbot | Amazon | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
CCBot | Common Crawl | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
AI2Bot | Allen Institute for AI | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
Diffbot | Diffbot | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
MistralAI-Index | Mistral AI | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
MistralAI-Training | Mistral AI | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
MistralAI-User | Mistral AI | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
DuckAssistBot | DuckDuckGo | その場での回答誰かが質問したその時にページを取得し、回答の中でリンク付きで引用します。 |
Kagibot | Kagi | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Googlebot | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 | |
Applebot | Apple | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Bingbot | Microsoft | 検索インデックス検索インデックスを作ります。AIの回答もこの上に成り立っています。 |
Bytespider † | ByteDance | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
cohere-ai † | Cohere | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
Timpibot † | Timpi | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
omgili † | Webz.io | 学習モデルの学習のためにページを収集します。拒否すると、次のモデルに載らなくなります。 |
† この製品トークンを記載した運営者自身のページは見つかっていません。サーバーログで見かけるため掲載していますが、運営者の文書に基づく行とは分けてあります。
robots.txt の行をつくる
クローラーごとに決めていただければ、そのとおりの行をこちらで書きます。どこにも送信されません。ファイルはお使いのブラウザー内で組み立てられます。
GPTBotOpenAI · 学習OAI-SearchBotOpenAI · 検索インデックスChatGPT-UserOpenAI · その場での回答OAI-AdsBotOpenAI · 広告ClaudeBotAnthropic · 学習Claude-SearchBotAnthropic · 検索インデックスClaude-UserAnthropic · その場での回答Claude-AgentAnthropic · Agent im Browserこのクローラーは robots.txt を尊重すると明言していませんGoogle-ExtendedGoogle · 学習GoogleOtherGoogle · 学習Google-CloudVertexBotGoogle · 検索インデックスPerplexityBotPerplexity · 検索インデックスPerplexity-UserPerplexity · その場での回答このクローラーは robots.txt を尊重すると明言していませんApplebot-ExtendedApple · 学習Meta-ExternalAgentMeta · 学習Meta-WebIndexerMeta · 検索インデックスMeta-ExternalFetcherMeta · その場での回答このクローラーは robots.txt を尊重すると明言していませんMeta-ExternalAdsMeta · 広告FacebookExternalHitMeta · リンクプレビューこのクローラーは robots.txt を尊重すると明言していませんAmazonbotAmazon · その場での回答CCBotCommon Crawl · 学習AI2BotAllen Institute for AI · 学習DiffbotDiffbot · 学習MistralAI-IndexMistral AI · 検索インデックスMistralAI-TrainingMistral AI · 学習MistralAI-UserMistral AI · その場での回答DuckAssistBotDuckDuckGo · その場での回答KagibotKagi · 検索インデックスBytespiderByteDance · 学習このクローラーは robots.txt を尊重すると明言していませんcohere-aiCohere · 学習このクローラーは robots.txt を尊重すると明言していませんTimpibotTimpi · 学習このクローラーは robots.txt を尊重すると明言していませんomgiliWebz.io · 学習このクローラーは robots.txt を尊重すると明言していません
あなたの robots.txt の行
まだどのクローラーも決めていないので、追加する行はありません。上で選ぶと行が表示されます。
どれだけのサイトが実際にブロックしているか
下記の日付に、ここに挙げた各市場で上位にあるサイトの robots.txt を読み、上の表と突き合わせました。
GPTBot をブロックしているサイトのうち、66.5% は訪問者を連れてくるはずの AI クローラーも併せてブロックしています。
対象は上位にある大規模サイトであり、小規模事業者ではありません。小規模事業者では、意図的なブロックは少なく放置が多い、という別の姿になる可能性が高いです。これらの数値を小規模事業者の実態として読まないでください。
| 市場 | 訪問者を連れてくる AI クローラーをブロック |
|---|---|
.nl | 31.5% |
.com | 29.7% |
.fr | 25.8% |
.it | 16.2% |
.es | 15% |
.jp | 13.7% |
.de | 12.3% |
割合は、実際に読み取れた robots.txt 528 件に対するものであり、リクエストしたドメイン数に対するものではありません。
ブラジルとポルトガルは標本に含まれていません。.com の数値は英語圏のグローバルな区分であり、いずれの国の数値でもありません。
測定日
測定結果の全体は、オープンデータとして公開しています: JSON · CSV
2026-11-09に、今回はすべてのドメインを残したうえで再度読み取りました。GPTBot をブロックしているサイトのうち 80.3% は GPTBot を名指しした規則を書いており、ブロックは判断の結果です。一方、利用者が目にする回答の裏側で動く OAI-SearchBot をブロックしているサイトのうち 43.6% は、それを選んでいません。すべてのボットを一律に対象とする規則から来たブロックです。
この再読み取りは、要求した 700 ドメインのうち読み取れた 407 件が対象です。145 件のホストはこの読み取りを拒否しました。正体の分からない自動読み取りを拒否するホストは AI クローラーも制限している可能性が高いため、この数値はブロックの実態を過大にではなく過小に示していると考えられます。
国別トップレベルごと
同じ読み取りをトップレベルで分けたものです。各行の割合はそのトップレベルで読めたファイルに対するものであり、要求したドメイン数に対するものではありません。
| 市場 | 読めたファイル | GPTBotをブロック | OAI-SearchBotをブロック |
|---|---|---|---|
.it | 65 / 100 | 15 (23.1%)15 うち意図的 | 5 (7.7%)0 うち継承 |
.es | 64 / 100 | 11 (17.2%)9 うち意図的 | 5 (7.8%)2 うち継承 |
.fr | 59 / 100 | 7 (11.9%)6 うち意図的 | 4 (6.8%)1 うち継承 |
.nl | 59 / 100 | 10 (16.9%)8 うち意図的 | 4 (6.8%)2 うち継承 |
.com | 56 / 100 | 17 (30.4%)10 うち意図的 | 12 (21.4%)9 うち継承 |
.de | 55 / 100 | 8 (14.5%)7 うち意図的 | 4 (7.3%)1 うち継承 |
.jp | 49 / 100 | 8 (16.3%)6 うち意図的 | 5 (10.2%)2 うち継承 |
二回目の調査、さらに五つの市場
2026-11-17に、一回目では扱わなかった市場で robots.txt をさらに350件読みました。そこではブロックが少なく、GPTBot をブロックしているサイトのうち訪問者を連れてくるクローラーまで締め出しているのは42.3%で、上の表の66.5%を下回ります。二つの調査結果は決して足し合わせません。
| 市場 | 訪問者を連れてくる AI クローラーをブロック |
|---|---|
.kr | 14.8% |
.se | 11.3% |
.pl | 9.1% |
.br | 6.1% |
.gr | 4.1% |
同じ但し書きがここにも当てはまります。対象は上位にランクされた大規模サイトであり、小規模事業者ではありません。韓国は五つの市場のうち読み取れたファイルが最も少なく、その数値は他より振れ幅が大きくなります。
この確認では分からないこと
- robots.txt はお願いであって、壁ではありません。クローラーは無視できます。
- robots.txt が許可しているクローラーを、ファイアウォールやCDNが拒否していることがあります。
- この確認は、ある一瞬の状態を示すものです。ファイルを書き換えれば、答えはすぐ変わります。
- 学習クローラーを拒否することと、その場で回答するクローラーを拒否することは、まったく別の判断です。
AIが実際に自社に言及しているかを確かめる
アクセスできるかどうかは最初の一歩にすぎません。Go Top SEOは、ChatGPT、Gemini、Google AIの回答に自社が出てくるかを自動で確認し、GoogleとGoogleマップでの順位を毎月追跡します。
7日間の無料トライアル、クレジットカードは不要