רוב בעלי האתרים חושבים על "הבוט של ה-AI" כדבר אחד: או שנותנים לו להיכנס, או שחוסמים אותו. בפועל, קובץ ה-robots.txt שלכם מטפל היום בעשרות user-agents נפרדים של OpenAI, Anthropic, Perplexity וגוגל, ולכל אחד תפקיד שונה. חסימת בוטים היא הטעות שהכי פוגעת בנראות, ולא במקרה היא מופיעה ראשונה ברשימת הטעויות שמונעות הופעה במנועי AI. אם עולם ה-GEO חדש לכם, שווה להתחיל במדריך למתחילים על GEO ואז לחזור לכאן.

ההחלטה מי נכנס לאתר ומי לא היא הבסיס לכל שאר עבודת הקידום במנועי AI. אפשר לכתוב את התוכן הכי טוב בעולם, אבל אם הבוט שמזין את התשובות של ChatGPT חסום, פשוט לא תהיו שם. לכן לפני שמדברים על סכמות, כותרות ומקורות, צריך להבין מי הבוטים ומה כל אחד מהם עושה.

אין "בוט AI" אחד: ההבדל בין בוטי אימון לבוטי אחזור

כל הבוטים של מנועי ה-AI מתחלקים לשתי משפחות, וההבדל ביניהן קובע הכול.

בוטי אימון (Training). הם אוספים תוכן כדי לאמן את הדור הבא של המודל. GPTBot של OpenAI, ClaudeBot של Anthropic, והטוקן Google-Extended של גוגל שייכים לכאן. חסימה שלהם אומרת דבר אחד: התוכן שלכם לא ישמש לאימון. היא לא מורידה אתכם משום תשובה חיה.

בוטי אחזור וחיפוש (Retrieval). הם שולפים ומאנדקסים תוכן כדי לבנות את התשובות שהמשתמש רואה עכשיו. OAI-SearchBot, Claude-SearchBot ו-PerplexityBot שייכים לכאן, וכך גם הבוטים שהמשתמש מפעיל ישירות: ChatGPT-User, Claude-User ו-Perplexity-User. חסימה של בוט אחזור מוחקת אתכם מהתשובות של אותו מנוע לגמרי.

מפת הבוטים של 2026: מי מכל חברה, ומה קורה אם חוסמים

הטבלה מסכמת את הבוטים המרכזיים שכדאי להכיר, לפי חברה, תפקיד, וההשלכה הישירה של חסימה בקובץ robots.txt.

OpenAI: GPTBot, OAI-SearchBot ו-ChatGPT-User

OpenAI מפעילה שלושה בוטים עם תפקידים שונים, וכל אחד נשלט בנפרד ב-robots.txt. GPTBot אוסף תוכן לאימון המודל, וחסימתו מסמנת שהתוכן לא ישמש לאימון. OAI-SearchBot אחראי על החיפוש: לפי תיעוד הבוטים הרשמי של OpenAI, אתרים שביטלו הסכמה ל-OAI-SearchBot לא יוצגו בתשובות החיפוש של ChatGPT, ולכן ההמלצה הרשמית היא לאפשר אותו. ChatGPT-User נכנס רק כשמשתמש מבקש משהו ספציפי, הוא אינו סורק אוטומטית, ואינו הבוט שקובע אם תופיעו בחיפוש. OpenAI גם מציינת שעדכון ב-robots.txt לוקח כ-24 שעות עד שהמערכת מתעדכנת.

Anthropic: ClaudeBot, Claude-SearchBot ו-Claude-User

Anthropic עברה גם היא למבנה של שלושה בוטים נפרדים. ClaudeBot אוסף נתוני אימון, Claude-SearchBot מאנדקס תוכן לשיפור תוצאות חיפוש, ו-Claude-User שולף עמודים כשמשתמש שואל את Claude שאלה. כל השלושה מצייתים ל-robots.txt, ואפשר לאפשר או לחסום כל אחד בנפרד (מקור: Search Engine Journal, 2026, בעקבות עדכון תיעוד הסורקים של Anthropic). המשמעות המעשית: חסימת ClaudeBot עוצרת אימון, אבל לא נוגעת ב-Claude-SearchBot או ב-Claude-User, שהם אלה שמזינים תשובות למשתמשים.

Perplexity: PerplexityBot, Perplexity-User והמחלוקת

ל-Perplexity שני בוטים מוצהרים: PerplexityBot לאינדוקס החיפוש, ו-Perplexity-User לשליפה יזומת משתמש. הרחבנו על הצד החיובי של הופעה במנוע הזה במדריך על קידום וציטוטים ב-Perplexity, אבל כאן חשוב להכיר גם את הצד השני.

Google: למה Google-Extended זה לא Googlebot

כאן מתרחשת הטעות היקרה ביותר. Google-Extended אינו בוט נפרד אלא טוקן שליטה שגוגל הוסיפה בספטמבר 2023. הסורק נשאר Googlebot, ו-Google-Extended רק קובע אם התוכן שכבר נסרק ישמש לאימון Gemini ולביסוס תשובות גנרטיביות. המשמעות: חסימת Google-Extended מוציאה אתכם מאימון Gemini, אבל לא מורידה אתכם מ-AI Overviews ולא מדירוג החיפוש, כי אלה מופעלים על ידי Googlebot הרגיל (מקור: תיעוד הסורקים של Google, 2026). מי שרוצה להישאר ב-AI Overviews פשוט משאיר את Googlebot פתוח, ומחליט על Google-Extended לפי מדיניות האימון בלבד.

טעות מספר 1: חסימה גורפת שמוחקת אתכם מהתשובות

הרפלקס המסוכן הוא שורת User-agent: * עם Disallow: /, או חסימה אוטומטית של כל בוט AI "כדי להגן על התוכן". זו בדיוק הפעולה שמוחקת אתכם מהתשובות. אם OAI-SearchBot לא מצליח להגיע אליכם, ChatGPT פשוט לא יכול לבחור בכם כמקור, וכפי שהסברנו במדריך על איך ChatGPT בוחר מקורות, מה שלא נשלף לא מצוטט. ערוץ האחזור הזה רק מתחזק: לפי נתוני Semrush Clickstream, ChatGPT מפעיל חיפוש חי על 34.5% מהשאילתות נכון לפברואר 2026 (מקור: Semrush Clickstream, 2026).

אותו היגיון חל על תהליך ה-שאילתות Fan-out, שבו המנוע מפצל שאלה אחת לכמה תת-שאילתות ושולף עמודים לכל אחת. בוט אחזור חסום פירושו שהתוכן שלכם לא נכנס בכלל למאגר שממנו המנוע שולף. ההחלטה צריכה להיות לפי מטרה: כדי להופיע בתשובות AI, אפשרו את בוטי האחזור והחיפוש. שאלת בוטי האימון נפרדת, והיא החלטה עסקית וערכית שלכם.

robots.txt מומלץ לנראות מרבית ב-AI (2026)

בסיס סביר לרוב העסקים שרוצים להופיע בתשובות AI נראה כך: לאפשר במפורש את בוטי האחזור והחיפוש, להשאיר את Googlebot פתוח, ולקבל החלטה מודעת על בוטי האימון בנפרד.

שלוש נקודות שחובה לוודא סביב הקובץ. ראשית, שינוי ב-robots.txt לא נכנס לתוקף מיד, אצל OpenAI זה עד כ-24 שעות. שנית, הקובץ הוא ציבורי ומייעץ בלבד, ואכיפה אמיתית דורשת חוקים ברמת השרת. שלישית, ודאו שחומת האש או ה-CDN לא חוסמים בשקט את אותם user-agents שאתם מנסים לאפשר, תרחיש נפוץ שמבטל את כל העבודה.

מעבר ל-robots.txt: llms.txt ו-Content Signals

שני מנגנונים חדשים מנסים להרחיב את התמונה. הראשון הוא קובץ ה-llms.txt, שמפנה מודלים לתוכן המרכזי באתר. שיעור האימוץ שלו הגיע ל-10.13% מתוך 300,000 דומיינים שנבדקו, אבל עד כה לא נמדד יתרון ציטוט מובהק, ובניסוי אחד הקובץ קיבל 84 ביקורי בוט בלבד ב-90 יום (מקור: ALLMO + SE Ranking, 2026). המסקנה: השקעה נמוכה אם ה-CMS מייצר אותו אוטומטית, אבל לא לצפות לקסם.

המנגנון השני מבטיח יותר. בספטמבר 2025 השיקה Cloudflare את "מדיניות אותות התוכן" (Content Signals Policy), שמוסיפה ל-robots.txt שורה כמו Content-Signal: search=yes, ai-train=no עם שלושה אותות נפרדים: search, ai-input ו-ai-train. המדיניות הופעלה כברירת מחדל על יותר מ-3.8 מיליון דומיינים, עם ההגדרה search=yes ו-ai-train=no (מקור: Cloudflare, 2025). זה עדיין לא תקן רשמי, וקבוצת AIPREF של ה-IETF עובדת על תקינה, אבל הכיוון ברור: הרשאות פר-מטרה, לא חסימה גורפת אחת.