Kostenloses Tool
Welche KI-Crawler blockiert Ihre Website?
Wir lesen Ihre robots.txt und zeigen für jeden KI-Crawler, ob er erlaubt oder blockiert ist — und welche Zeile der Datei das entscheidet.
- Ohne Anmeldung, ohne E-Mail-Adresse
- Eine Datei, einmal gelesen
- Prüft nicht nur die Startseite, sondern auch einen einzelnen Pfad
Wer dahintersteht
Diese Tabelle lässt sich auch für sich lesen: der Name, der in der User-agent-Zeile steht, der Betreiber und der Zweck.
| User-agent | Betreiber | Zweck |
|---|---|---|
GPTBot | OpenAI | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
OAI-SearchBot | OpenAI | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
ChatGPT-User | OpenAI | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
OAI-AdsBot | OpenAI | WerbungPrüft die Zielseiten von Anzeigen. Eine Blockade wirkt sich weder auf Antworten noch auf den Suchindex aus. |
ClaudeBot | Anthropic | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
Claude-SearchBot | Anthropic | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
Claude-User | Anthropic | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
Google-Extended | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. | |
GoogleOther | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. | |
PerplexityBot | Perplexity | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
Perplexity-User | Perplexity | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
Applebot-Extended | Apple | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
Meta-ExternalAgent | Meta | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
Meta-WebIndexer | Meta | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
Meta-ExternalFetcher | Meta | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
Meta-ExternalAds | Meta | WerbungPrüft die Zielseiten von Anzeigen. Eine Blockade wirkt sich weder auf Antworten noch auf den Suchindex aus. |
FacebookExternalHit | Meta | Link-VorschauErstellt Titel und Bild, die beim Teilen des Links erscheinen. Eine Blockade lässt den geteilten Link leer aussehen. |
Amazonbot | Amazon | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
CCBot | Common Crawl | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
AI2Bot | Allen Institute for AI | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
Diffbot | Diffbot | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
Googlebot | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. | |
Applebot | Apple | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
Bingbot | Microsoft | SuchindexBaut den Suchindex, auf dem auch die KI-Antworten aufsetzen. |
Bytespider † | ByteDance | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
cohere-ai † | Cohere | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
MistralAI-User † | Mistral AI | Antwort in EchtzeitHolt die Seite in dem Moment, in dem jemand fragt, und zitiert sie mit Link in der Antwort. |
Timpibot † | Timpi | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
omgili † | Webz.io | TrainingSammelt Seiten, um ein Modell zu trainieren. Wer ihn blockiert, kommt im nächsten Modell nicht vor. |
† Keine Seite des Betreibers dokumentiert dieses Token. Es steht hier, weil es in Server-Logs auftaucht, und bleibt getrennt von den Zeilen, die auf der Dokumentation des Betreibers selbst beruhen.
Was diese Prüfung nicht zeigt
- Die robots.txt ist eine Bitte, keine Mauer. Ein Crawler kann sie ignorieren.
- Eine Firewall oder ein CDN kann einen Crawler blockieren, den die robots.txt erlaubt.
- Die Prüfung beschreibt einen Augenblick. Wer die Datei ändert, ändert die Antwort sofort.
- Einen Trainings-Crawler zu blockieren und einen Crawler zu blockieren, der live antwortet, sind zwei völlig verschiedene Entscheidungen.
Herausfinden, ob die KI Ihr Unternehmen wirklich nennt
Der Zugang ist nur der erste Schritt. Go Top SEO prüft automatisch, ob Ihr Unternehmen in den Antworten von ChatGPT, Gemini und Google AI vorkommt, und verfolgt Ihre Positionen bei Google und in Google Maps monatlich.
7 Tage kostenlos testen, ohne Kreditkarte