האם AI מוצא את האתר שלכם?

תשעה דברים בעמוד שהזנתם: אם הוא נטען לסורקים; אם קובץ robots.txt נותן להיכנס לסורקי החיפוש של AI, כמו OAI-SearchBot, ChatGPT-User, PerplexityBot ו-Claude-SearchBot, וגם ל-Google ול-Bing; אם הטקסט נמצא בקוד העמוד בלי JavaScript; כותרת ותיאור מטא; נתונים מובנים מסוג Organization; מפת אתר; וקובץ llms.txt.

Google מריצה JavaScript, אבל רוב סורקי ה-AI קוראים רק את ה-HTML שהשרת שולח. אם הטקסט מופיע רק אחרי שהסקריפטים רצים, עוזר AI עלול לראות עמוד ריק ולדלג עליכם. עמודים סטטיים או עמודים שנבנים בשרת פותרים את זה.

זו החלטה עסקית. הסורקים האלה אוספים נתונים לאימון מודלים. חסימה שלהם לא מוציאה אתכם מהתשובות של ChatGPT או Claude, שמשתמשים בסורקי חיפוש נפרדים: OAI-SearchBot ו-Claude-SearchBot. אם תחסמו את אלה, תיעלמו מהתשובות שלהם.

לא חובה. זו הצעה ולא תקן, ו-Google אומרת שלא צריך אותו כדי להופיע ב-AI Overviews. זו דרך זולה לתת לסוכני AI תקציר מסודר של החברה, אז אנחנו מפרסמים אחד וממליצים עליו כתוספת.

אנחנו שומרים את כתובת האתר שבדקתם ואת התוצאה, כדי לראות אילו אתרים נבדקים, לשפר את הכלי ולהבין את הביקוש לשירותים שלנו. שום דבר עליכם: בלי אימייל, בלי כתובת IP ובלי עוגיות, והרישום לא מקושר לביקור שלכם. אחרי 12 חודשים אנחנו מוחקים אותו.