내 웹사이트는 어떤 AI 크롤러를 차단하고 있을까요?
robots.txt를 읽어 AI 크롤러별로 허용인지 차단인지, 그리고 파일의 어떤 규칙이 그것을 결정하는지 보여 드립니다.
- 로그인도 이메일도 필요 없습니다
- 파일 하나를 한 번만 읽습니다
- 첫 화면뿐 아니라 특정 경로도 확인합니다
누가 운영하는 크롤러인가
이 표는 따로도 읽으실 수 있습니다. User-agent 줄에 적히는 이름, 운영 주체, 그리고 목적입니다.
| User-agent | 운영 주체 | 목적 |
|---|---|---|
GPTBot | OpenAI | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
OAI-SearchBot | OpenAI | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
ChatGPT-User | OpenAI | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
OAI-AdsBot | OpenAI | 광고광고의 방문 페이지를 점검합니다. 차단해도 답변이나 검색 색인에는 영향이 없습니다. |
ClaudeBot | Anthropic | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
Claude-SearchBot | Anthropic | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
Claude-User | Anthropic | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
Claude-Agent | Anthropic | 브라우저 안의 에이전트AI 에이전트가 한 사람을 위해 조작하는 브라우저입니다. 차단해도 모델이 아는 내용은 달라지지 않지만, 방문자가 어시스턴트에게 사이트에서 무언가를 해 달라고 요청할 수 없게 됩니다. |
Google-Extended | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. | |
GoogleOther | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. | |
Google-CloudVertexBot | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. | |
PerplexityBot | Perplexity | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
Perplexity-User | Perplexity | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
Applebot-Extended | Apple | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
Meta-ExternalAgent | Meta | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
Meta-WebIndexer | Meta | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
Meta-ExternalFetcher | Meta | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
Meta-ExternalAds | Meta | 광고광고의 방문 페이지를 점검합니다. 차단해도 답변이나 검색 색인에는 영향이 없습니다. |
FacebookExternalHit | Meta | 링크 미리보기링크를 공유할 때 보이는 제목과 이미지를 만듭니다. 차단하면 공유된 링크가 비어 보입니다. |
Amazonbot | Amazon | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
CCBot | Common Crawl | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
AI2Bot | Allen Institute for AI | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
Diffbot | Diffbot | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
Googlebot | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. | |
Applebot | Apple | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
Bingbot | Microsoft | 검색 색인AI 답변도 함께 기대고 있는 검색 색인을 만듭니다. |
Bytespider † | ByteDance | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
cohere-ai † | Cohere | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
MistralAI-User † | Mistral AI | 실시간 답변누군가 질문한 순간에 페이지를 가져와, 답변 안에서 링크와 함께 인용합니다. |
Timpibot † | Timpi | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
omgili † | Webz.io | 학습모델을 학습시키기 위해 페이지를 수집합니다. 차단하면 다음 모델에 포함되지 않습니다. |
† 운영 주체의 어떤 문서에도 이 토큰에 대한 설명이 없습니다. 서버 로그에 나타나기 때문에 여기에 포함했으며, 운영 주체의 자체 문서에 근거한 항목과는 분리해 두었습니다.
실제로 얼마나 많은 사이트가 차단하고 있는가
아래에 적힌 날짜에, 여기 표시된 시장에서 상위에 노출되는 웹사이트들의 robots.txt를 읽어 위 표와 대조했습니다.
GPTBot을 차단하는 사이트 중 66.5%는 방문자를 데려올 수 있었던 AI 크롤러까지 함께 차단하고 있습니다.
이 조사 대상은 상위에 노출되는 큰 사이트들이며 소규모 사업자가 아닙니다. 소규모 사업자의 경우에는 의도적인 차단이 적고 방치가 많아, 양상이 다를 가능성이 높습니다. 이 수치를 소규모 사업자의 모습으로 읽지는 말아 주십시오.
| 시장 | 방문자를 데려오는 AI 크롤러를 차단 |
|---|---|
.nl | 31.5% |
.com | 29.7% |
.fr | 25.8% |
.it | 16.2% |
.es | 15% |
.jp | 13.7% |
.de | 12.3% |
백분율은 실제로 읽어 낸 robots.txt 파일 528건을 기준으로 하며, 요청한 도메인 수가 아닙니다.
브라질과 포르투갈은 조사 대상에 포함되지 않았습니다. .com 수치는 전 세계 영어권 부분이며, 두 나라 중 어느 쪽의 수치도 아닙니다.
측정일
측정 결과 전체를 오픈 데이터로 제공합니다: JSON · CSV
2026-11-09에 다시 읽으면서, 이번에는 도메인별로 보관했습니다. GPTBot을 차단하는 사이트 중 80.3%는 이름을 직접 적은 규칙을 썼으므로, 그 차단은 의도적인 결정이었습니다. 사람들이 보는 답변을 담당하는 OAI-SearchBot을 차단하는 사이트 중 43.6%는 그것을 지정한 적이 없습니다. 그 차단은 모든 봇을 한꺼번에 겨냥한 규칙에서 비롯됐습니다.
두 번째 읽기는 요청한 도메인 700건 중 읽을 수 있었던 파일 407건을 다룹니다. 145개 호스트가 이 리더를 거부했으며, 알 수 없는 자동 리더를 거부하는 호스트라면 AI 크롤러도 제한하고 있을 가능성이 큽니다. 따라서 이 수치는 차단 수준을 과장하기보다 오히려 낮게 보고 있습니다.
국가 도메인별
같은 측정을 도메인 접미사별로 나눈 것입니다. 각 행의 비율은 해당 접미사에서 읽어 낸 파일을 기준으로 하며, 요청한 백 개의 도메인을 기준으로 하지 않습니다.
| 시장 | 읽어 낸 파일 | GPTBot 차단 | OAI-SearchBot 차단 |
|---|---|---|---|
.it | 65 / 100 | 15 (23.1%)15 그중 의도적 | 5 (7.7%)0 그중 물려받은 것 |
.es | 64 / 100 | 11 (17.2%)9 그중 의도적 | 5 (7.8%)2 그중 물려받은 것 |
.fr | 59 / 100 | 7 (11.9%)6 그중 의도적 | 4 (6.8%)1 그중 물려받은 것 |
.nl | 59 / 100 | 10 (16.9%)8 그중 의도적 | 4 (6.8%)2 그중 물려받은 것 |
.com | 56 / 100 | 17 (30.4%)10 그중 의도적 | 12 (21.4%)9 그중 물려받은 것 |
.de | 55 / 100 | 8 (14.5%)7 그중 의도적 | 4 (7.3%)1 그중 물려받은 것 |
.jp | 49 / 100 | 8 (16.3%)6 그중 의도적 | 5 (10.2%)2 그중 물려받은 것 |
이 확인으로는 알 수 없는 것
- robots.txt는 요청이며 담장이 아닙니다. 크롤러가 무시할 수도 있습니다.
- 방화벽이나 CDN이 robots.txt가 허용한 크롤러를 차단하고 있을 수 있습니다.
- 이 확인은 한 시점을 보여 줍니다. 파일을 수정하시면 답이 곧바로 달라집니다.
- 학습용 크롤러를 차단하는 것과 실시간으로 답변하는 크롤러를 차단하는 것은 완전히 다른 결정입니다.
AI가 실제로 내 업체를 언급하는지 확인하기
접근 허용은 첫 단계일 뿐입니다. Go Top SEO는 ChatGPT, Gemini, Google AI의 답변에 고객님의 업체가 등장하는지 자동으로 확인하고, Google과 Google 지도의 순위를 매월 추적합니다.
신용카드 없이 7일 무료로 사용해 보기