Gratis tool
Welke AI-crawlers blokkeert uw website?
Wij lezen uw robots.txt en laten voor elke AI-crawler zien of die is toegestaan of geblokkeerd — en welke regel van het bestand dat beslist.
- Zonder aanmelden, zonder e-mailadres
- Één bestand, één keer gelezen
- Controleert niet alleen de startpagina, maar ook een afzonderlijk pad
Wie erachter zit
Deze tabel is ook los te lezen: de naam die in de User-agent-regel staat, de eigenaar en het doel.
| User-agent | Eigenaar | Doel |
|---|---|---|
GPTBot | OpenAI | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
OAI-SearchBot | OpenAI | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
ChatGPT-User | OpenAI | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
OAI-AdsBot | OpenAI | AdvertentiesControleert de bestemmingspagina’s van advertenties. Een blokkade heeft geen gevolgen voor antwoorden of voor de zoekindex. |
ClaudeBot | Anthropic | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
Claude-SearchBot | Anthropic | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
Claude-User | Anthropic | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
Google-Extended | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. | |
GoogleOther | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. | |
PerplexityBot | Perplexity | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
Perplexity-User | Perplexity | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
Applebot-Extended | Apple | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
Meta-ExternalAgent | Meta | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
Meta-WebIndexer | Meta | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
Meta-ExternalFetcher | Meta | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
Meta-ExternalAds | Meta | AdvertentiesControleert de bestemmingspagina’s van advertenties. Een blokkade heeft geen gevolgen voor antwoorden of voor de zoekindex. |
FacebookExternalHit | Meta | LinkvoorbeeldMaakt de titel en afbeelding die te zien zijn als iemand de link deelt. Een blokkade laat de gedeelde link leeg. |
Amazonbot | Amazon | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
CCBot | Common Crawl | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
AI2Bot | Allen Institute for AI | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
Diffbot | Diffbot | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
Googlebot | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. | |
Applebot | Apple | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
Bingbot | Microsoft | ZoekindexBouwt de zoekindex waarop ook de AI-antwoorden rusten. |
Bytespider † | ByteDance | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
cohere-ai † | Cohere | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
MistralAI-User † | Mistral AI | Antwoord in real timeHaalt de pagina op het moment dat iemand iets vraagt, en citeert die met een link in het antwoord. |
Timpibot † | Timpi | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
omgili † | Webz.io | TrainingVerzamelt pagina’s om een model te trainen. Wie hem blokkeert, komt in het volgende model niet voor. |
† Geen enkele pagina van de exploitant documenteert dit token. Het staat hier omdat het in serverlogs voorkomt, en blijft gescheiden van de rijen die op de eigen documentatie van de exploitant rusten.
Wat deze controle niet laat zien
- De robots.txt is een verzoek, geen muur. Een crawler kan hem negeren.
- Een firewall of een CDN kan een crawler blokkeren die de robots.txt toestaat.
- De controle beschrijft één moment. Wie het bestand aanpast, verandert het antwoord direct.
- Een trainingscrawler blokkeren en een crawler blokkeren die live antwoordt, zijn twee volstrekt verschillende beslissingen.
Uitzoeken of de AI uw bedrijf echt noemt
De toegang is pas de eerste stap. Go Top SEO controleert automatisch of uw bedrijf voorkomt in de antwoorden van ChatGPT, Gemini en Google AI, en volgt uw posities in Google en in Google Maps maandelijks.
7 dagen gratis uitproberen, zonder creditcard