Strumento gratuito
Quali crawler IA sta bloccando il tuo sito?
Leggiamo il tuo robots.txt e ti diciamo, per ogni crawler IA separatamente, se è consentito o bloccato, e quale riga del file lo ha deciso.
- Senza registrazione né e-mail
- Una lettura di un solo file
- Verifica un percorso preciso, non solo la home
Chi è ciascuno
Questa tabella si regge da sola: il nome del crawler così come compare nella riga User-agent, chi lo gestisce e a quale scopo.
| User-agent | Gestito da | A quale scopo |
|---|---|---|
GPTBot | OpenAI | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
OAI-SearchBot | OpenAI | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. |
ChatGPT-User | OpenAI | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
ClaudeBot | Anthropic | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
Claude-SearchBot | Anthropic | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. |
Claude-User | Anthropic | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
Google-Extended | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. | |
PerplexityBot | Perplexity | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. |
Perplexity-User | Perplexity | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
Applebot-Extended | Apple | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
Meta-ExternalAgent | Meta | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
meta-externalfetcher | Meta | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
Amazonbot | Amazon | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
CCBot | Common Crawl | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
Bytespider | ByteDance | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
cohere-ai | Cohere | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
Diffbot | Diffbot | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
AI2Bot | Allen Institute for AI | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
Timpibot | Timpi | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
omgili | Webz.io | AddestramentoRaccoglie pagine per addestrare un modello. Bloccarlo ti lascia fuori dal prossimo modello. |
MistralAI-User | Mistral AI | Risposta dal vivoCarica la pagina nel momento in cui qualcuno fa una domanda, per citarti nella risposta con un collegamento. |
Googlebot | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. | |
Bingbot | Microsoft | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. |
Applebot | Apple | IndiceCostruisce un indice di ricerca, su cui si appoggiano anche le risposte IA. |
Cosa questa verifica non può dirti
- Il robots.txt è una richiesta, non un muro. Un crawler può ignorarlo.
- Un firewall o una CDN possono bloccare un crawler che il robots.txt consente.
- La verifica descrive un istante. Modificare il file cambia subito la risposta.
- Bloccare un crawler di addestramento e bloccarne uno di risposta dal vivo sono due decisioni del tutto diverse.
Scopri se l’IA ti nomina davvero
L’accesso è solo il primo passo. Go Top SEO verifica automaticamente se la tua attività compare nelle risposte di ChatGPT, Gemini e Google AI, e segue le tue posizioni su Google e su Maps ogni mese.
Provalo 7 giorni gratis, senza carta