بدأ Googlebot في الزحف باستخدام بروتوكول HTTP / 2
يمكن لبرنامج Googlebot الآن الزحف باستخدام بروتوكول HTTP / 2 بدءًا من تشرين الثاني (نوفمبر) 2020. تم تحديث صفحات مطوري Google لتعكس التغيير.
قامت Google بتحديث صفحة دعم Googlebot Developers لتوضيح أن Google قادر الآن على محاولة تنزيل الصفحات عبر أحدث بروتوكول HTTP / 2. يسري هذا اعتبارًا من نوفمبر 2020. تم تحديث صفحة مطور Googlebot في 12 نوفمبر 2020 لتعكس هذا التغيير.
وفقًا لجوجل:
“بشكل عام، يزحف Googlebot عبر HTTP / 1.1. ومع ذلك، اعتبارًا من تشرين الثاني (نوفمبر) 2020، قد يزحف Googlebot إلى المواقع التي قد تستفيد منه عبر HTTP / 2 إذا كان يدعمها الموقع “.
لماذا بروتوكول شبكة HTTP / 2
HTTP / 2 هو أحدث بروتوكول شبكة حاليًا. يسمح بنقل البيانات بشكل أسرع وأكثر كفاءة بين الخادم والمتصفح (أو Googlebot).
ما يفعله HTTP / 2 هو تقليل مقدار الوقت الذي يستغرقه تسليم صفحة الويب من المستعرض إلى الخادم. يقلل HTTP / 2 أيضًا من الحمل عن طريق ضغط حقول رأس HTTP.
بموجب بروتوكول الشبكة السابق (HTTP / 1)، يجب تنزيل العديد من التدفقات بشكل متوازي لأنه تم تمكين طلب واحد فقط في كل مرة بموجب إصدار HTTP / 1 القديم.
باستخدام HTTP / 2، يمكن لبرنامج Googlebot والمتصفحات الاستفادة من جودة ” مضاعف الإرسال ” الجديدة. وهذا يعني أنه يمكن تنزيل موارد متعددة دفعة واحدة من اتصال واحد بدلاً من الاضطرار إلى طلب تدفقات متعددة من اتصالات متعددة لتنزيل نفس صفحة الويب.
وفقًا لصفحة الأسئلة الشائعة حول IETF الرسمية على Github :
“HTTP / 1.x لديه مشكلة تسمى” head-of-line blocking “، حيث يمكن أن يكون طلبًا واحدًا فقط معلقًا على اتصال في المرة الواحدة.
… يعالج تعدد الإرسال هذه المشكلات من خلال السماح برسائل متعددة للطلب والاستجابة تكون في حالة طيران في نفس الوقت؛ بل إنه من الممكن خلط أجزاء من رسالة بأخرى على السلك.
وهذا بدوره يسمح للعميل باستخدام اتصال واحد فقط لكل أصل لتحميل الصفحة “.
إن إمكانيات HTTP / 2 تعني تقليل ازدحام الخادم وتوفير موارد الخادم.
يعد تقليل الضغط على موارد الخادم أمرًا جيدًا لمواقع الويب. في بعض الأحيان، ليس فقط Googlebot ولكن العديد من برامج التتبع الأخرى تصطدم بموقع في نفس الوقت.
والنتيجة هي أن الموقع يبدأ في الاستجابة بطريقة بطيئة بسبب استخدام الكثير من موارد الخادم. يعد هذا أمرًا سيئًا للمستخدمين الذين يحاولون عرض صفحات الويب وسيئًا للناشر إذا لم يتمكن Googlebot من الزحف إلى موقع الويب لأن الخادم يتم توسيعه إلى أقصى حد بواسطة الروبوتات المارقة مثل أدوات الكشط والمتسللين.
وفقًا لجوجل:
“… بدءًا من تشرين الثاني (نوفمبر) 2020، قد يزحف Googlebot إلى المواقع التي قد تستفيد منه عبر HTTP / 2 إذا كان يدعمه الموقع.
قد يؤدي ذلك إلى حفظ موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية وذاكرة الوصول العشوائي) للموقع و Googlebot ، ولكن بخلاف ذلك، لا يؤثر ذلك على فهرسة أو تصنيف موقعك “.
يمكن للناشرين إلغاء الاشتراك في زحف HTTP / 2
من الممكن إلغاء الاشتراك في زحف HTTP / 2. يجب تكوين الخادم لإرسال رمز استجابة خادم 421.
تم وصف رمز الحالة 421 بواسطة فريق مهام هندسة الإنترنت (IETF.org) باعتباره طلبًا مضللاً. هذا يعني أن طلب HTTP / 2 يتم توجيهه بشكل خاطئ إذا لم يكن متاحًا.
“يشير رمز الحالة 421 (طلب خاطئ) إلى أن الطلب تم توجيهه إلى خادم غير قادر على تقديم استجابة.يمكن إرسال هذا بواسطة خادم لم يتم تكوينه لإنتاج استجابات لمجموعة من المخطط والصلاحية المضمنة في URI للطلب. “
توصي صفحة مطور Google بما يلي:
“لإلغاء الاشتراك من الزحف عبر HTTP / 2، وجّه الخادم الذي يستضيف موقعك إلى الاستجابة برمز حالة HTTP 421 عندما يحاول Googlebot الزحف إلى موقعك عبر HTTP / 2. إذا لم يكن ذلك ممكنًا، فيمكنك -يمكنك إرسال رسالة إلى فريق Googlebot- (ولكن هذا الحل مؤقت). “
هل موقعك مؤهل للزحف عبر HTTP / 2؟
يجب أن تكون العديد من المواقع جاهزة للزحف عبر HTTP / 2. اكتشاف الأمر سهل، يمكنك التحقق مما إذا كان الخادم الخاص بك مؤهلًا باستخدام أداة التحقق من HTTP / 2.
زحف HTTP / 2 هو تغيير مرحب به
تعد قدرة Googlebot على الزحف باستخدام بروتوكول HTTP / 2 بمثابة أخبار رائعة للناشرين. سيؤدي ذلك إلى تقليل حمل الخادم وتسهيل الزحف إلى المواقع على Googlebot.
المصدر: searchenginejournal
شاهد ايضا:
