وثائق التحقق من Googlebot بتحديثات Google

قامت Google بتحديث وثائق Googlebot الرسمية بإرشادات جديدة حول الزيارات الواردة من عناوين IP المرتبطة بـ GoogleUserContent.com

قامت Google بتحديث وثائق البحث المركزية الخاصة بها للتحقق من Googlebot ، وإضافة وثائق حول زيارات الروبوت التي يتم تشغيلها بواسطة المستخدم، والمعلومات التي كانت مفقودة من وثائق Googlebot السابقة، والتي خلقت ارتباكًا لسنوات عديدة، حيث قام بعض الناشرين بحظر نطاقات IP للزيارات المشروعة.

وثائق الروبوت المحدثة حديثًا

أضافت Google وثائق جديدة تصنف الأنواع الثلاثة المختلفة من الروبوتات التي يجب أن يتوقعها الناشرون.

هذه هي الفئات الثلاث لـ Google Bots:

Googlebot – زاحف البحث
الزواحف ذات الحالات الخاصة
أدوات الجلب التي يشغّلها المستخدم (GoogleUserContent)

هذا الأخير، GoogleUserContent هو أحد المواقع التي أربكت الناشرين لفترة طويلة لأن Google لم يكن لديها أي وثائق صريحة حول هذا الموضوع.

هذا ما تقوله Google عن GoogleUserContent:

“عمليات الجلب التي يجريها المستخدم

الأدوات ووظائف المنتج حيث يبدأ المستخدم النهائي عملية الجلب.

على سبيل المثال، يعمل Google Site Verifier بناءً على طلب المستخدم.

نظرًا لأن المستخدم طلب الجلب، فإن أدوات الجلب هذه تتجاهل قواعد robots.txt “.

تنص الوثائق على أن قناع DNS العكسي سيظهر المجال التالي:

“*** – *** – *** – ***. gae.googleusercontent.com”

قامت Google مؤخرًا بتحديث صفحة Google Crawlers الخاصة بها لإنشاء قسم خاص حول أدوات الجلب التي يتم تشغيلها بواسطة المستخدم.

تحتوي قائمة برامج الزحف المختلفة على نفس برامج التتبع ولكن تمت إعادة تنظيم الصفحة لتصنيف أدوات الجلب التي يديرها المستخدم في مجموعته الخاصة.

تم تعيين برامج الزحف التالية الآن على أنها أدوات جلب يشغلها المستخدم:

” يتم استخدام Feedfetcher للزحف إلى خلاصات RSS أو Atom لـ Google Podcasts وأخبار Google و PubSubHubbub.
مركز ناشري Google يجلب ويعالج الخلاصات التي يوفرها الناشرون صراحةً من خلال مركز ناشري Google لاستخدامها في الصفحات المقصودة لأخبار Google.
قراءة Google بصوت عالٍبناءً على طلب المستخدم، يقوم برنامج Google Read Aloud بجلب صفحات الويب وقراءتها باستخدام ميزة تحويل النص إلى كلام (TTS).
Google Site Verifier يجلب Google Site Verifier رموز تحقق Search Console بناءً على طلب المستخدم “.

اكتب محتوى جذابًا بأسلوبك الفريد
أتمتة إنشاء المحتوى بالكامل؛ الحصول على أفكار محتوى مخصصة؛ وكتابة المقالات وتحسينها ونشرها بنقرة واحدة – باستخدام ContentShake.

في الماضي، ما قيل لي من قبل البعض في مجتمع تحسين محركات البحث (SEO)، هو أن نشاط الروبوت من عناوين IP المرتبطة بـ GoogleUserContent.com تم تشغيله عندما شاهد المستخدم موقعًا إلكترونيًا من خلال وظيفة الترجمة التي كانت موجودة في نتائج البحث، وهي ميزة التي لم تعد موجودة في SERPs من Google.

لا أعرف ما إذا كان هذا صحيحًا أم لا في الماضي.

لكن ما ورد أعلاه هو المعلومات الجديدة التي لدينا الآن حول أدوات الجلب التي يتم تشغيلها بواسطة المستخدم.

بالإضافة إلى ذلك، أضافت Google المعلومات التالية حول أدوات الجلب التي يشغلها المستخدم:

“عمليات الجلب التي يتم تشغيلها بواسطة المستخدم يتم تشغيل عمليات الجلب التي يتم تشغيلها بواسطة المستخدم لأداء وظيفة خاصة بالمنتج. على سبيل المثال، يعمل Google Site Verifier بناءً على طلب المستخدم.
نظرًا لأن المستخدم طلب الجلب، فإن أدوات الجلب هذه تتجاهل بشكل عام قواعد robots.txt. يتم نشر نطاقات IP التي يستخدمها برنامج الجلب الذي يتم تشغيله بواسطة المستخدم في كائن user-triggered-fetchers.json “.

توضح وثائق Google الجديدة أنه يمكن تشغيل نشاط الروبوت من عناوين IP المرتبطة بـ GoogleUserContent.com بواسطة أداة Google Site Verifier.

التغيير الآخر في الوثائق هو إشارة إلى googleusercontent.com في سياق عناوين IP التي تم تعيينها لاسم المجال، GoogleUserContent.com.

أخيرًا، أوقفت Google برنامج الزاحف لتطبيقات Android للجوال.

كان الرمز المميز لوكيل المستخدم والسلسلة الكاملة كلاهما: AdsBot-Google-Mobile-Apps

كان هذا هو الغرض من الزاحف المتقاعد الآن:

“التحقق من جودة إعلان صفحة تطبيق Android. يلتزم بقواعد برامج الروبوت AdsBot-Google ، ولكنه يتجاهل وكيل المستخدم العالمي (*) في ملف robots.txt. “

هذا هو النص الجديد:

“تحقق من أن اسم المجال هو googlebot.com أو google.com أو googleusercontent.com”.

إضافة جديدة أخرى هي النص التالي الذي تم توسيعه من الصفحة القديمة:

“بدلاً من ذلك، يمكنك تحديد Googlebot من خلال عنوان IP عن طريق مطابقة عنوان IP للزاحف بقوائم نطاقات عناوين IP الخاصة ببرامج الزحف والجلب من Google:
Googlebot
برامج الزحف الخاصة مثل AdsBot
شغّل المستخدم عمليات الجلب “

وثائق تعريف Google Bot

تحتوي الوثائق الجديدة أخيرًا على شيء عن برامج الروبوت التي تستخدم عناوين IP المرتبطة بـ GoogleUserContent.

ارتبك مسوقو البحث بسبب عناوين IP هذه وافترضوا أن هذه الروبوتات كانت بريدًا عشوائيًا.

تُظهر مناقشة Google Search Console Help من عام 2020 كيف كان الأشخاص مرتبكين بشأن النشاط المرتبط بـ GoogleUserContent.

استنتج الكثيرون في تلك المناقشة أنه ليس Googlebot ولكنهم استنتجوا خطأً أنه كان روبوتًا مزيفًا يتظاهر بأنه Google.

نشر مستخدم:

“السلوك الذي أراه صادرًا من هذه العناوين قريب جدًا (إن لم يكن مطابقًا) لسلوك Googlebot الشرعي، ويصطدم بالعديد من مواقعنا.
… إذا لم يكن الأمر كذلك – فيبدو أن هذا يشير إلى وجود نشاط روبوت ضار واسع النطاق من قبل شخص يحاول جاهدًا أن يبدو مثل Google على مواقعنا وهذا أمر مثير للقلق. “

بعد عدة ردود، استنتج الشخص الذي بدأ المناقشة أن نشاط GoogleUserContent كان بريدًا عشوائيًا.

كتبوا: