هل تواجه Google مشكلة مع ملفات Robots.txt الكبيرة؟
تتناول Google موضوع ملفات robots.txt وما إذا كان من الممارسات الجيدة لتحسين محركات البحث {سيو} الاحتفاظ بها في حجم معقول.
تمت مناقشة هذا الموضوع من قبل محامي البحث في Google John Mueller خلال جلسة Hangout لساعات العمل في Google Search Central SEO المسجلة في 14 يناير.
كم ضخم نتحدث هنا؟
يقول زيجر إن هناك أكثر من 1500 سطر بها “عدد كبير” من العناصر غير المسموح بها والتي تستمر في النمو على مر السنين.
يمنع عدم السماح Google من فهرسة أجزاء HTML وعناوين URL حيث يتم استخدام استدعاءات AJAX.
يقول Zieger إنه ليس من الممكن تعيين noindex ، وهي طريقة أخرى لإبقاء الأجزاء وعناوين URL خارج فهرس Google ، لذلك لجأ إلى ملء ملف robots.txt الخاص بالموقع بعدم السماح.
هل هناك أي تأثيرات سلبية لتحسين محركات البحث يمكن أن تنتج عن ملف robots.txt ضخم؟
هذا ما يقوله مولر.
اعتبارات تحسين محركات البحث لملفات Robots.txt الكبيرة
لن يتسبب ملف robots.txt الكبير بشكل مباشر في أي تأثير سلبي على مُحسنات محركات البحث الخاصة بالموقع.
ومع ذلك، يصعب الاحتفاظ بالملف الكبير، مما قد يؤدي إلى حدوث مشكلات عرضية في المستقبل.
ينضم David Zieger ، مدير تحسين محركات البحث لناشر أخبار كبير في ألمانيا، إلى البث المباشر مع مخاوف بشأن ملف robots.txt “ضخم” و “معقد”.
يشرح مولر:
“لا توجد مشكلات سلبية مباشرة في تحسين محركات البحث (SEO)، ولكنه يجعل الحفاظ عليها أكثر صعوبة. كما أنه يسهل كثيرًا دفع شيء يتسبب في حدوث مشكلات عن طريق الخطأ.
لذا لا يعني مجرد كون الملف كبير الحجم أنه يمثل مشكلة، ولكنه يسهل عليك إنشاء المشكلات “.
يتابع Zieger بالسؤال عما إذا كانت هناك أية مشكلات تتعلق بعدم تضمين خريطة موقع في ملف robots.txt.
يقول مولر إن هذه ليست مشكلة:
“هذه الطرق المختلفة لإرسال ملف Sitemap كلها متكافئة بالنسبة إلينا “.
يبدأ Zieger بعد ذلك في طرح عدة أسئلة متابعة أخرى سنلقي نظرة عليها في القسم التالي.
هل يتعرف Google على أجزاء HTML؟
يسأل Zieger Mueller عن تأثير تحسين محركات البحث (SEO) للتقصير الجذري لملف robots.txt. مثل إزالة جميع المحظورات على سبيل المثال.
يتم طرح الأسئلة التالية:
- هل يتعرف Google على أجزاء HTML غير ذات الصلة بزوار الموقع؟
- هل سينتهي المطاف بأجزاء HTML في فهرس بحث Google إذا لم يتم منعها في ملف robots.txt؟
- كيف تتعامل Google مع الصفحات التي تستخدم فيها مكالمات AJAX؟ (مثل عنصر الرأس أو التذييل)
يقوم بتلخيص أسئلته من خلال ذكر أن معظم الأشياء غير المسموح بها في ملف robots.txt هي عناصر رأس وتذييل غير مثيرة للاهتمام للمستخدم.
يقول مولر إنه من الصعب معرفة ما سيحدث بالضبط إذا سُمح فجأة بفهرسة هذه الأجزاء.
قد يكون نهج التجربة والخطأ هو أفضل طريقة لمعرفة ذلك، يوضح مولر:
“من الصعب أن تقول ما تعنيه فيما يتعلق بتلك الشظايا
أعتقد أنه سيكون هناك محاولة لمعرفة كيفية استخدام عناوين URL المجزأة. وإذا لم تكن متأكدًا، فربما تأخذ أحد عناوين URL المجزأة هذه وتسمح بالزحف إليها، وإلقاء نظرة على محتوى عنوان URL هذا الجزء، ثم تحقق لمعرفة ما يحدث في البحث.
هل يؤثر على أي شيء يتعلق بالمحتوى المفهرس على موقعك؟
هل يمكن العثور على بعض هذا المحتوى داخل موقعك فجأة؟
هل هذه مشكلة أم لا؟
وحاول العمل بناءً على ذلك، لأنه من السهل جدًا حظر الأشياء عن طريق ملف robots.txt، والتي لا تُستخدم في الواقع للفهرسة، ثم تقضي الكثير من الوقت في صيانة ملف robots.txt الكبير هذا، لكنه في الواقع لا تغيير هذا كثيرًا لموقعك على الإنترنت“.
اعتبارات أخرى لبناء ملف Robots.txt
لدى Zieger متابعة أخيرة بخصوص ملفات robots.txt، تسأل عما إذا كانت هناك أي إرشادات محددة يجب اتباعها عند إنشاء واحدة.
يقول مولر إنه لا يوجد تنسيق محدد يجب اتباعه:
“لا، الأمر متروك لك أساسًا. مثل بعض المواقع التي تحتوي على ملفات كبيرة، تحتوي بعض المواقع على ملفات صغيرة، يجب أن تعمل جميعها فقط.
لدينا كود مفتوح المصدر لمحلل robots.txt الذي نستخدمه. لذا ما يمكنك فعله أيضًا هو حث مطوريك على تشغيل هذا المحلل اللغوي لك، أو إعداده بحيث يمكنك اختباره، ثم التحقق من عناوين URL على موقع الويب الخاص بك باستخدام هذا المحلل لمعرفة عناوين URL التي سيتم حظرها بالفعل وما الذي سيتغير. وبهذه الطريقة يمكنك اختبار الأشياء قبل أن تجعلها حية “.
المصدر: searchenginejournal
أقرأ ايضا:
خطوات الحماية الابتزاز الإلكتروني
