Google CALM: تقنية نموذج لغة جديد
يمكن للتكنولوجيا المتطورة التي تسمى نمذجة اللغة التكيفية الموثوقة (CALM) تحسين سرعات نموذج اللغة الكبيرة بما يصل إلى ثلاث مرات
أعلنت Google عن تقنية غير مسبوقة تسمى CALM تعمل على تسريع نماذج اللغات الكبيرة (مثل GPT-3 و LaMDA) دون المساس بمستويات الأداء.
تعتبر بيانات التدريب الأكبر أفضل ولكنها تأتي بتكلفة
تتدرب نماذج اللغات الكبيرة (LLMs) على كميات كبيرة من البيانات.
يؤدي تدريب النماذج اللغوية على كميات أكبر من البيانات إلى تعلم النموذج قدرات جديدة لم يتم التخطيط لها دائمًا.
على سبيل المثال، يمكن أن تؤدي إضافة المزيد من بيانات التدريب إلى نموذج لغوي بشكل غير متوقع إلى اكتسابه القدرة على الترجمة بين لغات مختلفة، على الرغم من أنه لم يتم تدريبه على القيام بذلك.
تسمى هذه القدرات الجديدة بالقدرات الطارئة، وهي القدرات التي لم يتم التخطيط لها بالضرورة.
تنص ورقة بحثية مختلفة (PDF) حول القدرات الناشئة على ما يلي:
“على الرغم من وجود العشرات من الأمثلة على القدرات الناشئة، إلا أنه يوجد حاليًا عدد قليل من التفسيرات المقنعة لسبب ظهور مثل هذه القدرات بالطريقة التي تظهر بها.”
لا يمكنهم شرح سبب تعلم القدرات المختلفة.
لكن من المعروف جيدًا أن زيادة كمية البيانات لتدريب الجهاز يتيح لها اكتساب المزيد من القدرات.
الجانب السلبي لتوسيع نطاق بيانات التدريب هو أن الأمر يتطلب المزيد من القوة الحسابية لإنتاج مخرجات، مما يجعل الذكاء الاصطناعي أبطأ في الوقت الذي يولد فيه مخرجات نصية (لحظة تسمى “وقت الاستدلال”).
لذا فإن المفاضلة بين جعل الذكاء الاصطناعي أكثر ذكاءً مع المزيد من البيانات هي أن الذكاء الاصطناعي يصبح أيضًا أبطأ في وقت الاستدلال.
تصف الورقة البحثية الجديدة من Google ( Confident Adaptive Language Modeling PDF) المشكلة كما يلي:
“أدت التطورات الحديثة في نماذج اللغات الكبيرة القائمة على المحولات (LLMs) إلى تحسينات كبيرة في الأداء عبر العديد من المهام.
تأتي هذه المكاسب مع زيادة كبيرة في حجم النماذج، مما قد يؤدي إلى استخدام بطيء ومكلف في وقت الاستدلال “.
اكتب محتوى جذابًا بأسلوبك الفريد
أتمتة إنشاء المحتوى بالكامل؛ الحصول على أفكار محتوى مخصصة؛ وكتابة المقالات وتحسينها ونشرها بنقرة واحدة – باستخدام ContentShake.
نمذجة اللغة التكيفية الواثقة (CALM)
توصل الباحثون في Google إلى حل مثير للاهتمام لتسريع نماذج اللغة مع الحفاظ أيضًا على الأداء العالي.
الحل، لعمل تشبيه، يشبه إلى حد ما الفرق بين الإجابة على سؤال سهل وحل سؤال أكثر صعوبة.
سؤال سهل، مثل لون السماء، يمكن الإجابة عليه بقليل من التفكير.
لكن الإجابة الصعبة تتطلب من المرء أن يتوقف ويفكر أكثر قليلاً للعثور على الإجابة.
من الناحية الحسابية، لا تميز النماذج اللغوية الكبيرة بين الجزء الصعب من مهمة إنشاء النص والجزء السهل.
يقومون بإنشاء نص لكل من الأجزاء السهلة والصعبة باستخدام قوة الحوسبة الكاملة الخاصة بهم في وقت الاستدلال.
يُطلق على حل Google اسم “Confident Adaptive Language Modeling” (CALM).
ما يفعله هذا الإطار الجديد هو تخصيص موارد أقل لأجزاء تافهة من مهمة إنشاء النص وتخصيص القوة الكاملة للأجزاء الأكثر صعوبة.
توضح ورقة البحث الخاصة بـ CALM المشكلة والحل مثل هذا:
“أدت التطورات الحديثة في نماذج اللغات الكبيرة القائمة على المحولات (LLMs) إلى تحسينات كبيرة في الأداء عبر العديد من المهام.
تأتي هذه المكاسب مع زيادة كبيرة في حجم النماذج، مما قد يؤدي إلى استخدام بطيء ومكلف في وقت الاستدلال.
من الناحية العملية، تتكون سلسلة الأجيال التي تصنعها LLM من مستويات متفاوتة من الصعوبة.
في حين أن بعض التنبؤات تستفيد حقًا من السعة الكاملة للنماذج، فإن عمليات الاستمرارية الأخرى أكثر تافهة ويمكن حلها باستخدام حساب مخفض.
… بينما تعمل النماذج الكبيرة بشكل أفضل بشكل عام، قد لا تكون هناك حاجة إلى نفس القدر من الحساب لكل إدخال لتحقيق أداء مماثل (على سبيل المثال، اعتمادًا على ما إذا كان الإدخال سهلًا أم صعبًا). “
ما هو Google CALM وهل يعمل؟
يعمل CALM عن طريق التخصيص الديناميكي للموارد اعتمادًا على مدى تعقيد الجزء الفردي من المهمة، باستخدام خوارزمية للتنبؤ بما إذا كان شيء ما يحتاج إلى موارد كاملة أو جزئية.
تشارك الورقة البحثية أنهم اختبروا النظام الجديد لمختلف مهام معالجة اللغة الطبيعية (“تلخيص النص، والترجمة الآلية، والإجابة على الأسئلة”) واكتشفوا أنهم كانوا قادرين على تسريع الاستدلال بحوالي ثلاثة أضعاف (300٪).
يوضح الرسم التوضيحي التالي مدى جودة عمل نظام CALM.
تشير المناطق القليلة باللون الأحمر إلى المكان الذي يتعين على الجهاز استخدام سعته الكاملة في هذا القسم من المهمة.
المناطق باللون الأخضر هي الأماكن التي تستخدم فيها الماكينة أقل من نصف السعة.
الأحمر = السعة الكاملة / الأخضر = أقل من نصف السعة
هذا ما تقوله الورقة البحثية عن الرسم التوضيحي أعلاه:
“يعمل CALM على تسريع عملية التوليد عن طريق الخروج المبكر عندما يكون ذلك ممكنًا، واستخدام سعة وحدة فك التشفير الكاملة بشكل انتقائي لعدد قليل من الرموز المميزة، كما هو موضح هنا في مثال CNN / DM باستخدام مقياس ثقة يعتمد على softmax. يستخدم Y (1) مبكرًا وY (2) مبكرًا عتبات ثقة مختلفة للخروج المبكر.
أدناه (كذا) النص، نقوم بالإبلاغ عن النص المقاس واتساق المخاطر لكل من المخرجات، إلى جانب مكاسب الكفاءة.
تمثل الألوان عدد طبقات فك التشفير المستخدمة لكل رمز مميز – تشير الظلال الخضراء الفاتحة إلى أقل من نصف الطبقات الإجمالية.
يستخدم عدد قليل فقط من الرموز المميزة السعة الكاملة للنموذج (ملون باللون الأحمر)، بينما يخرج النموذج لمعظم الرموز المميزة بعد طبقة واحدة أو بضع طبقات فك تشفير (ملونة باللون الأخضر). “
اختتم الباحثون الورقة بالإشارة إلى أن تنفيذ CALM لا يتطلب سوى تعديلات طفيفة من أجل تكييف نموذج لغة كبير ليصبح أسرع.
هذا البحث مهم لأنه يفتح الباب أمام إنشاء نماذج ذكاء اصطناعي أكثر تعقيدًا يتم تدريبها على مجموعات بيانات أكبر بشكل كبير دون التعرض لسرعة أبطأ مع الحفاظ على مستوى أداء عالٍ.
ومع ذلك، قد يكون من الممكن أن تفيد هذه الطريقة أيضًا نماذج اللغة الكبيرة التي يتم تدريبها على بيانات أقل أيضًا.
على سبيل المثال، تم تدريب نماذج InstructGPT ، والتي يعد ChatGPT منها نموذجًا شقيقًا، على ما يقرب من 1.3 مليار معلمة ولكنها لا تزال قادرة على التفوق في الأداء على النماذج التي تم تدريبها على المزيد من المعلمات بشكل كبير.
ولاحظ الباحثون في الخلاصة:
“بشكل عام، يتطلب إطار الحوسبة التكييفية الكامل الخاص بنا لـ LM تعديلات طفيفة على النموذج الأساسي ويسمح بمكاسب الكفاءة مع تلبية ضمانات الجودة الصارمة للمخرجات.”
تم نشر هذه المعلومات حول هذه الورقة البحثية للتو على مدونة الذكاء الاصطناعي التابعة لـ Google في 16 ديسمبر 2022. الورقة البحثية نفسها مؤرخة في 25 أكتوبر 2022.
سيكون من المثير للاهتمام معرفة ما إذا كانت هذه التكنولوجيا ستجعلها في طريقها إلى نماذج لغوية كبيرة في المستقبل القريب.
المصدر: searchenginejournal
قد يهمك:
