מהבקשה שנרשמה אל הבדיקה הבאה
ניתוח קבצי לוג ל-SEO מאפשר לבדוק אילו בקשות הגיעו לשכבה שמתעדת את האתר, מתי הן נרשמו ואיזו תגובה הוחזרה. זו דרך לחקור גישה של Googlebot לעמודים חשובים, שגיאות שרת וכתובות שממשיכות לקבל בקשות. כדי להסיק מסקנה שימושית צריך לזהות את מקור הלוג, לאמת את הבוט ולהצליב את הממצא עם בדיקות נוספות. בקשה שנרשמה אינה הוכחה לאינדוקס, לדירוג בגוגל או לפנייה מלקוח.
המדריך מיועד למנהלי אתרים ושיווק שעובדים עם איש פיתוח או חברת אחסון. המטרה היא להחליט איזו בעיה לבדוק קודם, ולא להפיק עוד גרף של כמות סריקות. גם בלי לכתוב קוד אפשר להגדיר שאלה טובה, לבקש ייצוא מתאים ולהבין מה הדוח כן מוכיח.

מהם קבצי לוג, ומה ניתוח לוגים מוסיף ל-SEO?
לוג גישה, Access Log, הוא רישום של בקשות שטופלו בשרת בהתאם להגדרת הרישום שלו. תיעוד Apache מסביר את ההבדל בין לוג גישה ללוג שגיאות: הראשון עוסק בבקשות, והשני באבחון תקלות בתוכנת השרת ובפעולתה. המיקום, השדות והפורמט ניתנים להגדרה. לכן אין להניח שלכל אתר יש אותו קובץ או שכל פרט טכני נשמר בו.
סריקה יזומה בכלי SEO מראה מה הכלי מצא בזמן הבדיקה שלו. ניתוח לוגים מראה בקשות שנרשמו בתקופה שבחרתם. השילוב יכול לחשוף פער: עמוד נגיש לכלי הבדיקה שלכם, אך בקשות מאומתות של גוגל קיבלו תשובה אחרת בזמן מסוים. זהו כיוון לחקירה של גישה, תזמון או תשתית; לא אבחנה אוטומטית של הסיבה.
מתי כדאי לבצע ניתוח קבצי לוג לקידום אתרים?
התחילו משאלה שמשפיעה על האתר: האם עמודי שירות חדשים התבקשו? האם הופיעו שגיאות לאחר שינוי תשתית? האם כתובות ישנות עדיין נדרשות לאחר מעבר? באתר גדול אפשר לבדוק גם התפלגות בקשות בין אזורים ופרמטרים. השאלה צריכה לקבוע איזה מידע אוספים.
לא כל עסק צריך פרויקט קבוע של אופטימיזציית תקציב סריקה. מדריך גוגל לתקציב סריקה מתמקד בעיקר באתרים גדולים או כאלה שמתעדכנים במהירות, ובמצבים מסוימים של כתובות שהתגלו אך לא אונדקסו. באתר קטן ללא בעיית גישה מוכחת, כדאי להתחיל בבדיקות אינדוקס, קישורים ותוכן לפני שמזמינים ניתוח רחב.
אילו קבצי לוג צריך לבקש מחברת האחסון?
בקשו קודם הסבר על כיסוי הנתונים: מאיזו מערכת מגיע הקובץ, אילו שמות מתחם הוא כולל, מה חלון הזמן ומה אזור הזמן. ודאו אם מדובר ברישום מלא או בייצוא חלקי, ואם התקופה כולה נשמרה לאחר החלפת קבצים או סבב שמירה. בלי זה, ״לא נמצאה רשומה״ עלול לתאר מגבלה בנתונים.
- מועד הבקשה: תאריך, שעה ואזור זמן, כדי להשוות לאירוע באתר.
- הכתובת שהתבקשה: כולל שם המתחם והפרמטרים הדרושים לבדיקה.
- שיטת הבקשה וקוד התגובה: למשל GET ותשובת HTTP מהשכבה שנבדקה.
- זיהוי הלקוח: User-Agent ומידע מתאים לאימות מקור הבקשה.
- שדות עזר אם קיימים: נפח תגובה, משך טיפול, מצב מטמון ומזהה בקשה. בדקו את הגדרת השדה ואת יחידות המדידה לפני השוואה.
אין צורך להעביר לכל משתתף קבצים גולמיים עם כל פרטי המבקרים. תכננו עם הצוות ייצוא מצומצם לשאלת ה-SEO, דרך שיתוף מתאימה והרשאות לאנשים שצריכים את הנתונים. בתוצר העסקי אפשר להציג כתובות רלוונטיות וממצאים מסוכמים במקום פרטי בקשות שאינם נחוצים להחלטה.
לוג שרת מקור או לוג CDN: ההבדל משנה את המסקנה
אם יש לפני שרת האתר שכבת CDN או מטמון, בקשה יכולה לקבל מענה שם. למשל, תיעוד Cloudflare מבחין בין HIT מהמטמון לבין MISS שמוגש משרת המקור. זו דוגמה למערכת מסוימת, ולא קביעה על ספק האחסון שלכם. בקשה שנענתה בשכבת הקצה עשויה שלא להופיע בלוג הגישה של שרת המקור.

לפני שאומרים שגוגל לא הגיע לעמוד, ודאו באיזו שכבה חיפשתם. אם צריך להשוות בין CDN לשרת, הגדירו חלון זמן תואם ושיטת התאמה לבקשות. אל תחברו אוטומטית את מספר השורות בשני הקבצים: אותה בקשה עשויה להיות מיוצגת ביותר ממקום אחד.
איך יודעים שהבקשה באמת הגיעה מ-Googlebot?
שם הבוט בשדה User-Agent הוא התחלה לסינון, ולא הוכחת זהות. גוגל מפרסמת דרכי אימות לבקשות מזחלנים ומכלי שליפה. אפשר לבדוק התאמה לטווחי ה-IP הרשמיים של הקטגוריה המתאימה, או לבצע בדיקת DNS הפוכה ולאחריה בדיקה קדימה שמחזירה את כתובת ה-IP המקורית. בדיקת שם בלבד אינה משלימה את התהליך.
הבחינו גם בין Googlebot לבין כלי בדיקה שמופעל בעקבות פעולה של משתמש ושירותים אחרים של גוגל. בקשה מבדיקה ידנית שלכם אינה מוכיחה שהזחלן הגיע באופן רגיל. כאשר יש מתווך לפני השרת, בקשו מהצוות לוודא שהכתובת שמשמשת לאימות אכן מייצגת את המקור הנכון. את מנגנון האימות הטכני מיישמים עם מי שמכיר את התשתית.
מה מחפשים בניתוח לוגים בלי לטבוע בנתונים?
בחרו קבוצת כתובות שקשורה לשאלה: דפי שירות, קטגוריות, מוצרים או כתובות ששונו. הפרידו בין מסמכי HTML למשאבים כמו תמונות וקובצי JavaScript כאשר השאלה מחייבת זאת. סך כל הבקשות וסך הכתובות הייחודיות הם שני מדדים שונים; בקשות חוזרות לאותה כתובת אינן עוד עמודים שנסרקו.
קודי תגובה: 200, הפניות, 404 ושגיאות שרת
גוגל מסבירה כיצד קודי HTTP משפיעים על הסריקה והעיבוד. תגובת 200 מאפשרת להעביר תוכן לעיבוד נוסף, אך אינה מבטיחה שהוא ייכנס לאינדקס. תשובת 301 מצביעה על הפניה קבועה; כדי להבין לאן היא מובילה ומה קורה בהמשך, בדקו את היעד ואת שרשרת ההפניות בפועל. שורת לוג רגילה לא בהכרח מכילה את כל המידע הזה.
404 לכתובת שהוסרה בכוונה אינו מחייב הפניה לעמוד הבית. בדקו אם יש לכתובת תחליף מתאים ואם קישורים פנימיים עדיין מפנים אליה. שגיאות 5xx או תגובות 429 חוזרות מצדיקות בירור עם צוות התשתית, במיוחד בכתובות חשובות. בדקו את התקופה ואת ההיקף; בדיקה תקינה עכשיו אינה מוחקת תקלה שנרשמה אתמול.
מעט בקשות לעמוד חשוב, או הרבה בקשות לכתובות אחרות
עמוד שלא מופיע בייצוא אינו בהכרח חסום לסריקה. בדקו תחילה את שלמות התקופה, שכבת הרישום, האימות ושם המתחם. לאחר מכן השוו ליכולת להגיע לעמוד, לקישורים שמובילים אליו ולמידע ב-Search Console. גם מספר בקשות נמוך אינו מוכיח לבדו בעיה; אין תדירות סריקה אחת שנכונה לכל עמוד.
ריבוי בקשות לכתובות עם פרמטרים מצדיק בדיקה של מקור הכתובות ותפקידן. אל תחסמו קבוצה שלמה רק כדי לשפר גרף. בדקו אילו עמודים אמורים להישאר זמינים, מה מופיע בקישורים ובמפת האתר, ואילו החלטות דורשות טיפול בתוכן או במבנה האתר. כמות סריקות גדולה אינה יעד עסקי בפני עצמו.

איך מנתחים קובץ לוג בפועל, ובאילו כלים משתמשים?
לפני בחירת הכלים לניתוח, הגדירו תוצר: רשימת העמודים החשובים באתר, הממצאים לכל קבוצה והבדיקה הבאה. עסקים עם אתר מצומצם יכולים להתחיל בייצוא מסונן ובגיליון עבודה. בקבצים גדולים נדרש כלי שמצליח לקרוא את הפורמט ואת נפח הנתונים בלי להשמיט רשומות. היכולת לייבא קובץ אינה אישור שהאימות, הסינון או הפרשנות בוצעו נכון.
- בדקו את הקריאה: השוו כמה רשומות בקובץ המקורי לתצוגת הכלי. האם השעה, הכתובת וקוד התגובה נקראו כראוי? אם פרמטר נחתך או אזור זמן פורש אחרת, תקנו את הייבוא לפני ספירה.
- סננו בקשות מאומתות: שמרו בנפרד את קבוצת Googlebot הרלוונטית ואת הבקשות שהזהות שלהן אינה מאומתת. תעדו את שיטת האימות, כדי שמי שיקבל את הדוח יבין מה נכלל.
- קבצו לפי תפקיד: למשל דפי שירות לעומת משאבים, כתובות חדשות לעומת ישנות, או אזורים באתר. השוו גם בקשות וגם כתובות ייחודיות, באותה תקופה ובאותה שכבה.
- חברו לרשימת הכתובות: סמנו אילו עמודים ברשימת העסק הופיעו בלוגים ואילו לא. זו רשימת בירור; היא אינה קובעת לבדה אילו עמודים נסרקים בכל המערכות או נמצאים באינדקס.
דוגמה סכמטית בלבד לשדות שנקראו מתוך לוג: GET /service-a/ → 500. אפשר לראות שהתבקשה כתובת והוחזר קוד שגיאת שרת, אך השורה המקוצרת אינה מזהה את Googlebot ואינה מסבירה את סיבת השגיאה. באותה דרך, GET /old-service/ → 301 אינו מציג כאן את יעד ההפניה. חזרו לשדות המקור ולבדיקות ההמשך במקום להוסיף משמעות שחסרה בנתונים.
מנהלי אתרים שמקבלים דוח מספק חיצוני צריכים לבקש את הגדרות הסינון לצד הטבלה. במיוחד חשוב לדעת אם בדיקה עוסקת ב-Googlebot, בבוטים של מנועי חיפוש אחרים או בכלל התעבורה. הבדל משמעותי בכמות הרשומות בין שני דוחות יכול לנבוע מכיסוי שונה. שמרו את הקריטריונים עם התוצר כדי שאפשר יהיה לשחזר את ההשוואה.
שאלות על תקציב הסריקה: מה הלוגים יכולים להראות?
לפי מדריך גוגל המקושר לעיל, תקציב הסריקה נקבע משילוב של יכולת סריקה וביקוש לסריקה. הלוגים מראים פעילות שנרשמה; הם אינם חושפים מכסה פנימית שגוגל הקצתה לאתר. לכן אי אפשר להסיק מהם לבדם ש״נגמר התקציב״. אם עמודים נסרקים מעט, חקרו קודם מה חסר: גילוי, נגישות, צורך בסריקה חוזרת או כיסוי נתונים.
באתרים שבהם בירור תקציב הסריקה מוצדק, בקשו לראות התפלגות לפי קבוצות כתובות ואת ההסבר לבחירה בהן. המטרה אינה להקצות אחוז קבוע לגוגל או להגדיל את הספירה בכל מחיר. כדי להבין מה Googlebot עשה בתקופה מסוימת, צריך לדעת גם מה השתנה באתר ואילו כתובות היו זמינות לו. השוואה לאחר שינוי מועילה רק אם מקור הנתונים וכללי הסינון תואמים.
דוח טוב למנהלי אתרים מחבר בין שאלה עסקית לממצא שאפשר לבדוק. האם כלי של גוגל התבקש לגשת לעמוד בבדיקה ידנית, או שנרשמה בקשה רגילה של Googlebot? האם הקישורים באתר מובילים לכתובת הנכונה? אלה שאלות שונות. שיפור הרישום וההפרדה ביניהן מונע טיפול בבעיה שלא הוכחה.
איך משלבים לוגים, Search Console וכלי סריקה?
דוח סטטיסטיקות הסריקה ב-Search Console מציג היסטוריית בקשות, תגובות ובעיות זמינות מנקודת המבט של גוגל. רשימות הכתובות לדוגמה אינן רשימה מלאה. גוגל גם מציינת שייתכנו פערים בין מספר הבקשות בדוח לבין לוגים של האתר. לכן אין להכריז על תקלה רק מפני ששני הסכומים אינם זהים.
כל מקור עונה על שאלה אחרת: הלוג מתעד מה נרשם בשכבה מסוימת; סורק האתר בודק את המצב בזמן הפעלתו; כלי בדיקת כתובת URL מספק מידע על הגרסה שבאינדקס וגם אפשרות לבדיקה חיה. החזיקו את התאריך וההקשר ליד הממצא. אל תסיקו מאירוע גישה יחיד מה גוגל בחרה לאנדקס או איך העמוד מדורג.
איך הופכים את הניתוח למשימת SEO שאפשר לאשר?
במקום להגיש רשימת אזהרות, כתבו לכל חקירה שאלה, ראיה ובדיקת המשך. זהו מבנה עבודה מוצע לצוות, לא דרישה של מנוע חיפוש:
- העמוד והחשיבות: איזו כתובת או קבוצת כתובות משרתת צורך של לקוחות.
- מסגרת הנתונים: שכבת הרישום, התקופה, אזור הזמן והאם הכיסוי מלא.
- הממצא המאומת: איזה סוג בקשה נרשם, כיצד זוהה הבוט ומה הייתה התגובה.
- מה עדיין לא ידוע: למשל מצב האינדוקס, יעד הפניה או הסיבה לתקלה.
- פעולה ואחראי: שינוי ממוקד, מי מבצע אותו ואיך בודקים את התוצאה.
לדוגמה היפותטית, ספק ציוד קירור בודק דף שירות לאחר החלפת מערכת מטמון. בלוג שרת המקור אין בקשות מאומתות לכתובת בתקופה שנבחרה. לפני שמשנים את הדף, צוות הפיתוח בודק אם בקשות נענו בשכבת הקצה ואם הייצוא שלם. רק לאחר בירור הפער אפשר לבחור טיפול בגישה, בקישור או ברישום. בדוגמה זו אין נתוני אתר אמיתי או תוצאה שנמדדה.
אם נמצא כשל ותוקן, אמתו תחילה את התיקון בבקשה עדכנית ובחלון נתונים חדש ומתאים. בחינת אינדוקס, תנועה אורגנית ופניות היא שלב נוסף, עם מדדים נפרדים. יותר ביקורי Googlebot אינם הוכחה ליותר לקוחות.
ניתוח לוגים צריך להשתלב באסטרטגיית ה-SEO של העסק. אם יש בעיית סריקה לא מוסברת, פנו ל-SEO co עם הכתובות והשאלה שצריך לברר. אפשר להתחיל בהגדרת הבדיקה והמידע הנדרש, לפני שמבצעים שינוי רחב באתר.