أعلنت Google عن بحث مذهل في معالجة اللغات الطبيعية يُدعى “سلسلة التفكير”
نشرت Google تفاصيل تقنية غير مسبوقة تعمل بشكل كبير على تحسين أحدث خوارزميات Google المتطورة
أعلنت Google عن بحث مذهل في معالجة اللغات الطبيعية يُدعى “سلسلة التفكير” التي ترفع من مستوى فن التقنيات المتقدمة مثل Palm و Lambda إلى ما يسميه الباحثون مستوى رائعًا.
حقيقة أن سلسلة الفكر الموجه يمكن أن تحسن PaLM و LaMDA بهذه المعدلات الكبيرة هي صفقة كبيرة.
LaMDA و PaLM
أجرى البحث تجارب باستخدام نموذجين لغويين، نموذج اللغة لتطبيقات الحوار (LaMDA) ونموذج لغة المسارات (PaLM).
LaMDA هو نموذج يركز على المحادثة ويمكنه تشغيل البحث المستند إلى الحوار والمساعدين الصوتيين وتطبيقات الحوار الأخرى.
PaLM هو نموذج يتبع ما تسميه Google بنية Pathways AI حيث يتم تدريب نموذج اللغة على تعلم كيفية حل المشكلات.
في السابق، تم تدريب نماذج التعلم الآلي على حل نوع واحد من المشكلات، وكان من المفترض أن يتم تفكيكها بشكل أساسي للقيام بهذا الشيء بشكل جيد حقًا. ولكن من أجل القيام بشيء آخر، يتعين على Google تدريب نموذج جديد.
إن بنية Pathways AI هي طريقة لإنشاء نموذج يمكنه حل المشكلات التي لم يسبق له مثيل من قبل.
كما هو مقتبس في شرح Google PaLM :
“… نود تدريب نموذج واحد لا يمكنه التعامل مع العديد من المهام المنفصلة فحسب، بل أيضًا الاعتماد على مهاراته الحالية ودمجها لتعلم مهام جديدة بشكل أسرع وأكثر فعالية.”
ماذا يفعل
تسرد الورقة البحثية ثلاث اختراقات مهمة في مجال الاستدلال المتسلسل للفكر:
- يسمح للنماذج اللغوية بتقسيم المشكلات المعقدة متعددة الخطوات إلى سلسلة من الخطوات
- تسمح سلسلة عملية التفكير للمهندسين بإلقاء نظرة خاطفة على العملية وعندما تسوء الأمور، يتيح لهم ذلك تحديد مكان الخطأ وإصلاحه
- يمكن أن يحل مشاكل الكلمات الرياضية، ويمكنه تحقيق المنطق المنطقي ووفقًا لورقة البحث يمكنه (من حيث المبدأ) حل أي مشكلة قائمة على الكلمات يمكن للإنسان.
مهام التفكير متعددة الخطوات
يقدم البحث مثالاً على مهمة تفكير متعددة الخطوات يتم اختبار النماذج اللغوية عليها:
س: في الكافتيريا 23 تفاحة. إذا استخدموا 20 لإعداد الغداء واشتروا 6 أخرى، فكم عدد التفاح لديهم؟
ج: الكافتيريا أصلاً كان بها 23 تفاحة. استخدموا 20 لإعداد الغداء. لذلك كان لديهم 23 – 20 = 3. لقد اشتروا 6 تفاحات أخرى، لذا فإن لديهم 3 + 6 = 9. الإجابة هي 9. “
PaLM هو نموذج لغة حديث وهو جزء من هندسة Pathways AI. إنه متقدم جدًا لدرجة أنه يمكن أن يفسر سبب كون النكتة مضحكة.
ومع ذلك، فبقدر ما تقدم PaLM ، يزعم الباحثون أن تحفيز سلسلة الفكر يحسن هذه النماذج بشكل كبير، وهذا ما يجعل هذا البحث الجديد جديرًا بالملاحظة.
يشرحها Google على النحو التالي:
تسمح سلسلة التفكير المنطقي للنماذج بتحليل المشكلات المعقدة إلى خطوات وسيطة يتم حلها بشكل فردي.
علاوة على ذلك، فإن طبيعة سلسلة الأفكار المستندة إلى اللغة تجعلها قابلة للتطبيق على أي مهمة يمكن لأي شخص حلها عبر اللغة “.
ثم تستمر الورقة البحثية في ملاحظة أن التحفيز القياسي لا يتحسن حقًا عند زيادة حجم النموذج.
ولكن مع هذا المقياس الجديد له تأثير إيجابي ملحوظ وملحوظ على مدى جودة أداء النموذج.
نتائج
تم اختبار سلسلة توجيه الفكر على كل من LaMDA و PaLM ، باستخدام مجموعتي بيانات مشكلة الكلمات الرياضية.
- GSM8K
- مولتياريث
يستخدم الباحثون مجموعات البيانات هذه كطريقة لمقارنة النتائج المتعلقة بمشاكل مماثلة لنماذج لغوية مختلفة.
فيما يلي صور الرسوم البيانية التي تظهر نتائج استخدام سلسلة الفكر الموجه على LaMDA.
تظهر نتائج قياس LaMDA في مجموعة بيانات MultiArith أنه أدى إلى تحسن متواضع. لكن نتائج LaMDA أعلى بشكل ملحوظ عند قياسها باستخدام سلسلة تحفيز الفكر.
تظهر النتائج على مجموعة بيانات GSM8K تحسنًا متواضعًا.
إنها قصة مختلفة مع نموذج لغة PaLM.
كما يمكن رؤيته في الرسم البياني أعلاه، فإن المكاسب الناتجة عن توسيع نطاق PaLM باستخدام سلسلة توجيه الفكر ضخمة، وهي ضخمة لكل من مجموعتي البيانات (MultiArith وGSM8K).
وصف الباحثون النتائج بأنها رائعة وحالة جديدة من الفن:
“في مجموعة بيانات GSM8K الخاصة بمشكلات الكلمات الرياضية، يُظهر PaLM أداءً رائعًا عند القياس إلى معلمات 540B.
… يؤدي الجمع بين سلسلة التفكير المحفزة مع نموذج PaLM 540B إلى أداء متطور جديد بنسبة 58٪، متجاوزًا حالة الفن السابقة البالغة 55٪ التي تم تحقيقها من خلال ضبط GPT-3 175B على تدريب كبير تعيين الحلول المحتملة ثم ترتيبها عن طريق مدقق مُدرب خصيصًا.
علاوة على ذلك، تُظهر أعمال المتابعة بشأن الاتساق الذاتي أنه يمكن تحسين أداء تحفيز سلسلة الأفكار بشكل أكبر من خلال الحصول على تصويت الأغلبية لمجموعة واسعة من عمليات التفكير المتولدة، مما يؤدي إلى دقة 74٪ على GSM8K “.
الاستنتاجات
يعد اختتام ورقة البحث أحد أهم الأجزاء التي يجب التحقق منها لفهم ما إذا كان البحث يقدم أحدث ما توصل إليه العلم أو أنه طريق مسدود أو يحتاج إلى مزيد من البحث.
يحتوي قسم استنتاجات الورقة البحثية في Google على ملاحظة إيجابية للغاية.
تلاحظ:
“لقد استكشفنا سلسلة من الأفكار المحفزة كطريقة بسيطة وقابلة للتطبيق على نطاق واسع لتعزيز التفكير في نماذج اللغة.
من خلال التجارب على الاستدلال الحسابي والرمزي والمنطقي، نجد أن معالجة سلسلة الفكر هي خاصية ناشئة لمقياس النموذج تسمح لنماذج اللغة الكبيرة بما يكفي لأداء مهام التفكير التي لها منحنيات تحجيم مسطحة.
يؤدي توسيع نطاق مهام الاستدلال التي يمكن أن تؤديها النماذج اللغوية إلى إلهام المزيد من العمل على مناهج التفكير المنطقي القائمة على اللغة “.
ما يعنيه ذلك هو أن سلسلة التفكير قد تمتلك القدرة على تزويد Google بالقدرة على تحسين نماذجها اللغوية المختلفة بشكل كبير، والتي بدورها يمكن أن تؤدي إلى تحسين محركات البحث {سيو} كبيرة في أنواع الأشياء التي يمكن لـ Google القيام بها.
المصدر: searchenginejournal
قد يهمك:
التسويق عبر وسائل التواصل الاجتماعي
