تثبت البيانات على ما يبدو أن زحف Googlebot قد تباطأ
يشارك الناشرون في جميع أنحاء العالم البيانات التي تثبت على ما يبدو أن Googlebot قد قلل بشكل كبير من الزحف إلى موقع الويب
كانت هناك مناقشات جارية على مدار الأسابيع القليلة الماضية عبر وسائل التواصل الاجتماعي أن Googlebot قد قلل بشكل كبير من الزحف.
على سبيل المثال، قام مؤسس خدمة تحليل زحف الويب بتغريد رسم بياني يوضح كيف انخفض نشاط زحف Google منذ 11 نوفمبر 2021.
على الرغم من أن تباطؤ الفهرسة لا يؤثر على جميع المواقع، يتفق الكثيرون على Twitter و Reddit على أن شيئًا ما قد تغير في Google فيما يتعلق بالفهرسة وإثبات ذلك من خلال لقطات شاشة لنشاط Googlebot.
دليل على انخفاض الزحف
تتراكم الأدلة القصصية على عمليات الزحف الشاذة في Google على وسائل التواصل الاجتماعي. تكمن مشكلة وسائل التواصل الاجتماعي في أنه يمكن للمرء أن يُدلي بأي ملاحظة حرفيًا حول Google ويكاد يكون مضمونًا لتلقي الموافقة.
القصص القصصية مثيرة للاهتمام ولكنها ليست جيدة مثل الملاحظات المدعومة بالبيانات، وهو ما ظهر مؤخرًا على Twitter.
نشر مؤسس خدمة تحليل الزاحف والسجلات Seolyzer ( Seolyzer_io ) رسمًا بيانيًا لسلوك الزحف في Google الذي أظهر انخفاضًا كبيرًا في نشاط الزحف بدءًا من 11 نوفمبر.
نشر:
“Googlebot في حالة إضراب! خفض Googlebot نشاط الزحف بشكل كبير على العديد من المواقع الكبيرة منذ 11 تشرين الثاني (نوفمبر) الساعة 6 مساءً (بتوقيت جرينتش) “.
304 رمز استجابة الخادم وزحف Googlebot
لاحظ البعض نمطًا مع Googlebot فجأة لم يعد يزحف إلى الصفحات التي تقدم رمز استجابة خادم 304.
رمز الاستجابة 304 يعني 304 (غير معدل).
يتم إنشاء رمز الاستجابة هذا بواسطة الخادم عندما يقدم متصفح (أو Googlebot) طلبًا مشروطًا لصفحة ما.
هذا يعني أن المتصفح (أو Googlebot) يخبر الخادم أنه يحتوي على صفحة ويب محفوظة في ذاكرة التخزين المؤقت، لذا لا تكلف نفسك عناء عرضها ما لم يتم تحديث هذه الصفحة (تعديل).
اكتب محتوى جذابًا بأسلوبك الفريد
أتمتة إنشاء المحتوى بالكامل؛ الحصول على أفكار محتوى مخصصة؛ وكتابة المقالات وتحسينها ونشرها بنقرة واحدة – باستخدام ContentShake.
فيما يلي تعريف لرمز استجابة الخادم 304 (غير المعدل) من مجموعة عمل HTTP:
“يشير رمز الحالة 304 (غير معدل) إلى أنه تم استلام طلب GET أو HEAD مشروط وكان من الممكن أن يؤدي إلى استجابة 200 (موافق) إذا لم يتم تقييم الشرط على أنه خطأ.
بمعنى آخر، ليست هناك حاجة للخادم لنقل تمثيل للمورد الهدف لأن الطلب يشير إلى أن العميل، الذي جعل الطلب مشروطًا، لديه بالفعل تمثيل صالح؛ لذلك، يقوم الخادم بإعادة توجيه العميل للاستفادة من هذا التمثيل المخزن كما لو كان حمولة استجابة 200 (موافق). “
304 هل تتسبب الاستجابة في تقليل زحف Googlebot؟
قام شخص بتغريد رسالة تأكيد (بالفرنسية) أنه في العديد من المواقع التي تحتوي على AMP والتي يراقبها، شهد انخفاضًا في الصفحات التي استجابت بـ 304 استجابة.
رد الشخص الذي نشر التغريدة الأصلية بنشر رسم بياني يوضح كيف توقفت Google تقريبًا عن الزحف إلى الصفحات التي استجابت برمز استجابة خادم 304:
لاحظ آخرون مشكلة مماثلة حيث أن الصفحات التي تقدم استجابة 304 لديها معدلات زحف أقل بشكل كبير:
لاحظ شخص آخر انخفاضًا في عمليات الزحف على صفحات السفر ولكن زيادة الزحف في صفحات التجارة الإلكترونية:
يشارك العديد من الأشخاص الآخرين التحليلات ولقطات شاشة وحدة التحكم في البحث:
مزيد من البيانات:
يجب ألا يغير رمز الاستجابة 304 الزحف
تنص وثائق صفحة المساعدة الرسمية لمطوّري برامج Google على زحف Googlebot على أن رمز الاستجابة 304 يجب ألا يؤثر على الزحف.
إليك ما تنصح به وثائق Google الرسمية:
“يشير Googlebot إلى مسار الفهرسة بأن المحتوى هو نفسه الذي تم الزحف إليه في المرة الأخيرة.
قد يعيد خط أنابيب الفهرسة حساب إشارات عنوان URL، ولكن بخلاف ذلك، لن يكون لكود الحالة أي تأثير على الفهرسة. “
هل من الممكن أن يكون Google قد تغير (بشكل دائم أو مؤقت) وأن صفحة المطور هذه قديمة؟
نظرية الموافقة على ملفات تعريف الارتباط
تعد نظرية 304 Server Response واحدة من العديد من النظريات والحلول لشرح سبب عدم قيام Googlebot بفهرسة صفحة ويب.
قام شخص بالتغريد بأن Google زادت الفهرسة بعد إزالة شريط الموافقة على ملف تعريف الارتباط.
لماذا يتسبب شريط استجابة ملف تعريف الارتباط في عدم قيام Google بفهرسة صفحة ويب؟ هل يمكن أن يكون شريط الموافقة على ملف تعريف الارتباط قد أدى إلى استجابة 304، مما تسبب في عدم قيام Google بفهرسة الصفحة؟
تمت مناقشة عمليات زحف Googlebot المخفضة في Reddit
تمت أيضًا مناقشة ظاهرة عمليات زحف Googlebot المخفضة على موقع Reddit.
وصف أحد Redditor كيف تمت فهرسة المقالات السابقة من موقعه الناجح في غضون 10 دقائق من إرسالها عبر Google Search Console.
وذكروا أنه في الآونة الأخيرة تمت فهرسة نصف المقالات الجديدة فقط.
لكن هذا تغير في نوفمبر وفقًا لهذا المنشور على Reddit :
“لأي سبب من الأسباب، تتم فهرسة أقل من نصف مقالاتنا الجديدة، حتى وأنا أرسلها يدويًا بعد النشر.”
شارك redditors تجارب مماثلة:
“يعاني الكثير من الأشخاص من نفس التجربة في الوقت الحالي … يبدو أن هناك شيئًا ما يحدث مع Google”.
“هناك شيء ما مع Google في فهرسة المشاركات الجديدة …”
“يبلغ عمر موقع الويب الخاص بي 17 عامًا … فجأة، استغرقت المقالة الأخيرة أسابيع حتى تتم فهرستها.”
جوجل يقول لا شيء معطل
رد جون مولر من Google على الأسئلة على Reddit :
“لا أرى أي شيء معطل في طريقة فهرسة Google للأشياء في الوقت الحالي. أرى أننا ننتقد ما ننتقله للفهرسة، كما ينبغي لأي محرك بحث “.
هل تختبر Google أنماط الزحف الجديدة؟
أعلن Bing في أكتوبر عن بروتوكول فهرسة مفتوح المصدر يسمى IndexNow والذي يهدف إلى تقليل عدد المرات التي تزحف فيها برامج الزحف إلى صفحات الويب لتقليل مقدار الطاقة المستخدمة في مراكز البيانات للزحف وعلى الخوادم لخدمة صفحات الويب. يفيد البروتوكول الجديد الناشرين لأنه يسرع عملية إخطار محركات البحث عند تحديث الصفحات أو إنشائها، مما يؤدي إلى فهرسة أسرع لصفحات الويب عالية الجودة.
في نوفمبر، أعلنت Google أنها ستختبر بروتوكول الفهرسة الجديد IndexNow لمعرفة ما إذا كانت هناك فوائد له.
يعد توفير الطاقة وتقليل البصمة الكربونية أحد أهم قضايانا اليوم. هل يمكن أن تكون Google قد تحسنت في طرق تقليل الزحف دون تغيير جذري إلى بروتوكول جديد؟
هل قامت Google بتقليل الزحف إلى صفحة الويب؟
هناك بعض الادعاءات بأن Google قد توقفت عن الفهرسة تمامًا ولكن هذا غير صحيح. ومع ذلك، هناك نقاش كبير على وسائل التواصل الاجتماعي مدعومة بالبيانات لدعم تغيير أنماط فهرسة Googlebot.
المصدر: searchenginejournal
شاهد ايضا:
