אינדוקס וזחילה 1
1.1. ?מה זה אינדוקס וזחילה
אינדוקס, מלשון אינדקס, הינו התהליך אותו מבצעת גוגל לדפי אינטרנט, שעה שהיא סורקת באמצעות הזחלנים שלה (Googlebot) כמה שיותר דפים במרשתת ומוסיפה אותם לאינדקס שלה. רק דפים שנוספים לאינדקס זה יכולים להופיע בדף תוצאות החיפוש של Google, ה- SERP, בכפוף לכך שהם עומדים בהנחיות Google למנהלי אתרים. יש לציין כי Google עשויה להוסיף דפים לאינדקס שלה גם מבלי לקבל גישה לתוכן שבהם. אם אתם עוסקים בקידום אתרים, אז אינדוקס זה הא'-ב' מבחינתכם. בלעדיו האתרים ו/או דפי האינטנרט שאתם מבקשים לקדם מעולם לא יופיעו בדף תוצאות החיפוש של Google.
1.2. כיצד נדע אלו דפי אינטרנט שלנו אונדקסו?
Dישנן כמה דרכים לבדוק אלו דפים מאתרי האינטרנט שלנו אונדקסו, כאשר הדרכים הטובות יותר הן אלו המסתמכות על כלי המידע שמספקת Google עצמה.
בשלב הראשון אנו נשתמש בפקודת ה-SITE; הקלידו בשורת החיפוש של Google את הביטוי SITE: ומיד לאחריו את כתובת אתר האינטרנט שלכם (לדוגמא: site: actvtec.co.il). כעת, תוכלו לראות העמודים ש Google סרקה באתרכם ואשר נכנסו לאינדקס שלה. חשוב להדגיש, כי מדובר בבדיקה בעלת חשיבות ממנה ניתן להסיק המון מסקנות שיתרמו לקידום האתר שלכם (ראו בהמשך המאמר).
במקביל לבדיקת ה SITE נבצע בדיקה מעמיקה של העמודים שבאתרנו שנסרקו בכלי ה Google Search Console (להלן: "GSC"). מדובר בכלי מבית היוצר של Google עצמה (ומשכך אמינותו ומהימנותו גבוהות מאוד) המספק אינספור נתונים ומדדים לגבי האתר שלנו, לרבות העמודים שבו שנסרקו ואונדקסו. את הדפים המאונדקסים באתרכם תוכלו למצוא בתפריט הראשי, תחת קטגוריית "כיסוי". להרחבה על GSC ואפשרויותיו הנרחבות ראו פרק 2 בהמשך המאמר.
במידה ואתם רוצים לשמוע עוד על אינדוקס וזחילה, מומלץ לצפות כאן בסרטון של Google בנושא.
1.3 בדיקות ומסקנות חשובות הקשורות באינדקס של האתר שלנו!
Dא. מהו יחס הדפים המאונדקסים של האתר שלנו, עם WWW ובלי WWW?
במידה וישנו פער ניכר של דפים מאונדקסים בין 2 סוגי URL אלו, יתכן ומדובר בבעיה של תוכן כפול (Big No No) באתר ו Google בעצם מאנדקסת דפים ב-2 התצורות האמורות, עם WWW ובלי WWW. אופציה נוספת היא קיומם של סאב דומיינים לדומיין הראשי. במצב שכזה, ביצוע פקודת SITE לאתרכם, ללא WWW, תציג תוצאות הדומיין הראשי וכן של הסאב דומיינים (לדוגמא: אתר walla.co.il). כך או כך כל העניין הוא לבדוק אם יש תוכן משוכפל, כמו עמוד שאונדקס פעם עם WWW ופעם בלי WWW, שכן מצב דברים שכזה יכול להוביל לענישה מצד Google ולירידה במיקומי התוצאות ב SERP (או מחיקה לחלוטין במקרים קיצוניים).
ב. בדיקת מבנה האתר.
בצעו בדיקה לאתר שלכם באמצעות פקודת SITE. במקביל, פתחו את האתר כגולשים רגילים ובדקו האם המבנה שלו ברור לכם; האם אתם מזהים את העמודים המאונדקסים בתפריטי האתר? האם אתם מוצאים בקלות דפים ספציפיים שאונדקסו? ידוע שהזחלנים של Google (ה- Crawlers) לא אוהבים מכשולים בסריקת האתר ולכן יתכנו עמודים שבכלל לא ימצאו ומן הסתם יאונדקסו. היה ומצאתם עמודים שעברו אינדוקס, אך לא פשוט למצוא אותם באתר (כאלו שמצריכים "חפירה" באתר), זה הזמן להנחות את איש הפיתוח שלכם למקם דפים אלו במקום הגיוני באחד התפריטים. ויפה שעה אחת קודם.
ג. כותרת דף ותיאור מטא ייחודי לכל דף יש?
עברו על תוצאות החיפוש של האתר שלכם עם פקודת SITE וערכו בדיקה של כל כותרת דף ותיאור המטא שלו (Title & Meta Description) בכל הדפים. האידיאל הוא שלכל דף יהיו כותרת ותיאור מטא ייחודיים משלו. העניין פה הוא ש Google מציגה במקרים רבים כותרת ותיאור מטא לפי ראות עיניה (בעיקר דיסקריפשן), תוך התעלמות מאלו שהוזנו על ידינו ברובריקת המטא. משכך, בדקו בקוד הדף את הרכיבים האמורים וודאו שמה שמוצג לגולשים הוא זהה לטקסט שהוזן לרובריקת המטא על ידכם.
ד. יחס דפי תוכן איכותיים אל מול דפי זבל.
בצעו בדיקת SITE לאתר. כעת שימו לב כי מתחת שורת החיפוש מופיע לכם מספר העמודים המאונדקסים של הדומיין. נניח ויש לכם 400 עמודים מאונדקסים, משמע כי יש 40 דפי תוצאות (10 תוצאות בכל דף). בשלב זה, עברו על דפי תוצאות אלה ובדקו אלו דפים הם דפי תוכן אמיתיים של האתר שלכם ואלו הם דפי זבל (דפים לא רלבנטיים ובדר"כ בעלי חזות מוזרה, טקסט לא קשור לתוכן שלכם או משהו שלא מוכר או מובן לכם). ניתן לזהות את דפי הזבל במהרה לפי הכותרות ותיאור המטא שלהם, הם פשוט "יצעקו" לכם בעיניים. לרוב, דפי זבל הם תוצר של תקלה כזו או אחרת ובדרך כלל הם יביאו לטשטוש המיקוד של האתר שלנו בעיני Google ובעקיפין להעלמת אתר האינטרנט מדף התוצאות בביטויים העיקריים שלנו.
לשם המחשה נציג דוגמא קצרה; אתר של חנות משקפיים ובה 50 מותגי משקפיים. Google מזהה בקלות שמדובר באתר העוסק במשקפיים (100% מתוכן האתר). כעת נניח כי בסריקה שביצעה Google אונדקסו עוד 200 עמודים שמקורם בתבנית העיצוב, והנה חלק התוכן האיכותי הפך להיות 20% (50 עמודים מתוך כלל 250 העמודים שאונדקסו). משמעות הדברים בעיניי Google היא כי רוב רובו של האתר הוא לא משקפיים ומטבע הדברים האתר ירד בדירוגים בדפי התוצאות ובחיפושים העוסקים במשקפיים.
אז תעשו טובה לעצמכם ותדאגו לחסום עמודי זבל מיותרים.
ה. בדיקת מטמון בדפים מאונדקסים.
בצעו בדיקת פקודת SITE לאתרכם. בתוצאה של דף הבית (אמורה להיות ראשונה), בכתובת הדף הירוקה מתחת לכותרת לחצו על המשולש הירוק ואז על "במטמון". כעת תופיע לכם הגרסה האחרונה של הדף השמורה באינדקס של Google. למה זה טוב? ובכן במידה וביצעתם שינויים בדפים מסוימים בתוכן האתר שלכם, כאן תוכלו לראות האם השינוי זוהה על ידי Google ואם לאו. כמו כן, ניתן לראות בדרך זו האם בוצעה פריצה לאתר והאם הושתלו בו קישורים זדוניים לא קשורים. כמו כן, אם אנו רואים כי דף הבית נסרק לפני המון זמן, אז העניין דורש בדיקה שכן לא מדובר בתוצאות סריקה ואינדוקס הגיוניות.
יחד עם האמור, ניתן לבצע עוד בדיקות באותה הדרך (בדיקת SITE, פתיחת "במטמון" דרך המשולש הירוק). בדף שיפתח יופיע לכם סרגל אפור בראש הדף ובו 3 קישורים; "גירסה מלאה", "גירסה טקסטואלית" ו"הצג את המקור". במידה ולא ניתן לראות את הסרגל, יש לבקש מאיש הפיתוח שידאג להציגו.
באמצעות קישורים אלה ניתן לבצע בדיקות בזכרון המטמון של Google. למשל, ניתן ללחוץ על "גירסה טקסטואלית" ולבדוק האם התפריט תקין. אם לא רואים תפריט אז כנראה מדובר בתפריט תמונה / flash / Java. במקרה זה יש להנחות את איש הפיתוח להפוך את התפריט לטקסטואלי עם כתובות URL אבסולטיות בפורמט href=http://.. או href=https://… יתכנו מקרים בהם התפריט יהיה תמונה והכתובת יראה כמעט זהה לכתובת אבסולוטית; img src="http:// או img src="https://. במקרה שכזה מדובר בתפריט לא תקין שלא נסרק על ידי Google ולמעשה קישורי התפריט לא מעבירים כוח קידומי (Juice) לעמודים אליהם הוא מוביל. הפתרון: תכנות התפריט כך שיהיה אבסולוטי וטקסטואלי. בנוסף, באותו הדף יש לבדוק כי כל התוכן הטקסטואלי תקין.
עוד בדיקות שימושיות שניתן לעשות בדף זה הן; בדיקת סדר הטקסט (צריך להיות תואם למה שרואים באתר כגולשים - המידע שרוצים לקדם צריך להיות בחלק העליון של המסך), בדיקת הימצאות טקסט שלא מופיע באתר המוצג (הימצאות טקסט שכזה מעיד על השתלת קוד / קישורים ע"י גורם חיצוני שיש לטפל ולהסיר אותו בהקדם)
.
1.4 תעזרו ל Google למצוא אתכם עם sitemaps!
Dדרך יעילה ומועילה לעזור ל Google למצוא את האתר שלכם היא באמצעות הגשת sitemap. Sitemap הוא קובץ שבאמצעותו אתם מספקים מידע על הדפים, הסרטונים וקבצים אחרים באתרים שלכם, ועל היחסים ביניהם. מנועי חיפוש כמו Google יקראו את קובץ ה- sitemap כדי לסרוק בצורה חכמה יותר את האתר. Sitemap מתאר לזחלנים של Google אילו קבצים באתר שלנו (לדעתנו) חשובים וכן מספק מידע חשוב על קבצים אלה. בנוסף, תוכלו להשתמש ב- Sitemap כדי לספק מידע על סוגי תוכן מסוימים בדפים, כולל תוכן וידאו (ערך של סרטון Sitemap יכול לציין את דירוג הסרטון, הקטגוריה וכיו"ב) ו/או תוכן תמונה (ערך תמונת Sitemap יכול לכלול את נושא הנושא, את סוג התמונה ואת הרישיון).
חשוב להעיר, כי Google משתמשת בקישורים, הן מדפים פנימיים והן מדפים חיצוניים, בכדי לאתר, לסרוק ולאנדקס דפי אינטרנט.
1.5 תבהירו ל Google גם מה לא לסרוק!
D
כפי שציינו לעיל, ישנם עמודי אינטרנט שרצוי מאוד ש Google לא תאנדקס. בדרך כלל מדובר בעמודים שאנחנו לא נרצה להראות לגולשים בדף התוצאות של Google מכיוון שהם לא נותנים כל ערך ולמעשה יובילו לתוצאה ההפוכה אותה אנו רוצים להשיג מבחינת קידום אתרים.
הדרך הקלה לחסום את הזחלנים מלסרוק היא באמצעות קובץ robots.txt. מדובר למעשה בקובץ טקסט פשוט שמודיע ל Google לאלו אזורים באתר שלנו הוא יכול לשלוח את הזחלנים שלו לסריקה ולאלו לא. את הקובץ הנ"ל, שחייב להיות תחת השם המדויק robots.txt, יש להטמיע בספריית השורש של הקבצים באתר. לדוגמא: אם אנו בעל האתר www.mywebsite.com אז קובץ robots.txt יהיה ממוקם ב www.mywebsite.com/robots.txt. הקובץ יכלול כלל אחד או יותר, שעה שכל כלל חוסם או מאפשר גישה לזחלן של Google לנתיב הקובץ.
חשוב להעיר, כי חרף האמור בקובץ עצמו, יתכנו מצבים מסוימים בהם Google תסרוק עמודים מסוימים (דרך קישור לעמודים מאתרים חיצוניים) ומשכך רצוי כי בכל הקשור לדפי אינטרנט בעלי רגישות מסוימת להשתמש בכלי אבטחה יעילים יותר.
למידע נוסף על robots.txt לחצו על המדריך של Google ועל דרכים נוספות למנוע הופעה של תוכן בדף תוצאות החיפוש.
כפי שצוין לעיל, robots.txt הוא לא הכלי האידיאלי בכל הקשור לחסימת עמודים בעלי חומר רגיש ו/או סודי. בסך הכל מדובר בקובץ של הנחיות שבסופו של יום לא מונע מהשרת להציג עמודים שכאלה לדפדפן המבקש אותם. מנועי חיפוש עדיין יכולים להפנות לעמודים ש"חסמתם" ולהגיע אליהם דרך דפי אינטרנט אחרים המפנים אליהם. כמו כן, קיימים מנועי חיפוש עם כוונות זדוניות, שלא ממש מתייחסים לכללי 'פרוטוקול אי הכללת רובוטים' ולכן אין לקבצי robots.txt כל השפעה עליהם. במקרים שכאלה מומלץ להשתמש בפונקציית "noindex". לרמת אבטחה גבוהה יותר, יש להשתמש בשיטות נוקשות יותר כגון יצירת דף רישום עם סיסמא או לחילופין, הסרה מלאה של הדף הספציפי מהשרת.
לסיום פרק זה, ניתן לכם טיפ קטן שיכול בהחלט לסייע לכם, עשו ככל שביכולתכם בכדי למנוע מ Google לבצע סריקה של עמודי תוצאות חיפוש פנימי באתרכם. אי ביצוע האמור יוביל לאנדוקס דפים שלא יתנו ערך לגולשים שלכם וכפועל יוצא לירידה בדירוגי האתר.
2. Google search console
D2.1 מהו ה Google search console-
שירות חינמי שגוגל מציעה, העוזר לנטר את נוכחות האתר בתוצאות החיפושים בגוגל.
למעשה, השירות מסייע להבין איך גוגל רואה את האתר ומבצע אופטימיזציה של הנוכחות בתוצאות החיפוש.
בהתאם להגדרת ה- SSL המאובטחת שלך, Google Search Console יאמת הן את גרסאות http: // ו- https: //.
Google Search Console יכול להשתמש במידע זה כדי לייעד תנועה של חיפוש לדומיין הראשי שלך.
קטע חדש
D
