כלי חינמי
מי מסורקי ה-AI חסום אצלכם?
אנחנו קוראים את קובץ ה-robots.txt שלכם ומראים, לכל סורק AI בנפרד, אם הוא מורשה או חסום — ואיזו שורה בקובץ קבעה את זה.
- בלי הרשמה ובלי אימייל
- קריאה אחת של קובץ אחד
- אפשר לבדוק נתיב מסוים ולא רק את הדף הראשי
מי כל אחד מהם
הטבלה הזו עומדת בפני עצמה: שם הסורק כפי שהוא מופיע בשורת User-agent, מי מפעיל אותו, ולשם מה.
| User-agent | מופעל על ידי | לשם מה |
|---|---|---|
GPTBot | OpenAI | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
OAI-SearchBot | OpenAI | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. |
ChatGPT-User | OpenAI | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
ClaudeBot | Anthropic | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
Claude-SearchBot | Anthropic | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. |
Claude-User | Anthropic | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
Google-Extended | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. | |
PerplexityBot | Perplexity | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. |
Perplexity-User | Perplexity | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
Applebot-Extended | Apple | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
Meta-ExternalAgent | Meta | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
meta-externalfetcher | Meta | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
Amazonbot | Amazon | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
CCBot | Common Crawl | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
Bytespider | ByteDance | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
cohere-ai | Cohere | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
Diffbot | Diffbot | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
AI2Bot | Allen Institute for AI | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
Timpibot | Timpi | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
omgili | Webz.io | אימוןאוסף דפים כדי לאמן מודל. חסימה משאירה אתכם מחוץ למודל הבא. |
MistralAI-User | Mistral AI | תשובה חיהמביא את הדף ברגע שמישהו שואל, כדי לצטט אתכם בתשובה עם קישור. |
Googlebot | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. | |
Bingbot | Microsoft | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. |
Applebot | Apple | אינדקסבונה אינדקס חיפוש, שממנו נשענות גם תשובות ה-AI. |
מה הבדיקה הזו לא יודעת
- robots.txt הוא בקשה, לא חומה. סורק יכול להתעלם ממנו.
- חומת אש או CDN יכולים לחסום סורק שה-robots.txt דווקא מתיר.
- הבדיקה מתארת רגע אחד. שינוי בקובץ משנה את התשובה מיד.
- חסימה של סורק אימון וחסימה של סורק תשובה חיה הן שתי החלטות שונות לגמרי.
לראות אם ה-AI באמת מזכיר אתכם
גישה היא רק השלב הראשון. Go Top SEO בודק אוטומטית אם העסק שלכם מופיע בתשובות של ChatGPT, Gemini ו-Google AI, ועוקב אחרי הדירוגים בגוגל ובמפות מדי חודש.
לנסות שבוע חינם, בלי כרטיס אשראי