خوارزمية Google PaLM: المسار إلى نماذج اللغة من الجيل التالي
تعد خوارزمية Google الجديدة خطوة نحو تحقيق بنية مسارات الذكاء الاصطناعي من Google ، وتوفر نظرة خاطفة على الجيل التالي من نماذج اللغة
أعلنت Google عن تقدم كبير في الجهود المبذولة لإنشاء بنية ذكاء اصطناعي يمكنها التعامل مع ملايين المهام المختلفة، بما في ذلك التعلم المعقد والاستدلال. يسمى النظام الجديد نموذج لغة المسارات، ويشار إليه باسم PaLM.
PaLM قادر على التفوق على أحدث نماذج اللغة الحالية والبشر في اختبارات اللغة والاستدلال.
لكن الباحثين يشيرون أيضًا إلى أنهم لا يستطيعون التخلص من القيود المتأصلة في نماذج اللغات واسعة النطاق التي يمكن أن تؤدي عن غير قصد إلى نتائج أخلاقية سلبية.
معلومات اساسية
الأقسام القليلة التالية هي معلومات أساسية توضح ماهية هذه الخوارزمية.
التعلم بلقطات قليلة
التعلم بجرعات قليلة هو المرحلة التالية من التعلم التي تتجاوز التعلم العميق.
قال الباحث في Google Brain ، Hugo Larochelle ( hugo_larochelle ) في عرض تقديمي بعنوان التعميم من أمثلة قليلة باستخدام Meta-Learning (فيديو) أوضح أنه مع التعلم العميق، تكمن المشكلة في أنه كان عليهم جمع كمية هائلة من البيانات التي تتطلب قدرًا كبيرًا من العمل البشري.
وأشار إلى أن التعلم العميق لن يكون على الأرجح الطريق نحو الذكاء الاصطناعي الذي يمكنه حل العديد من المهام لأنه مع التعلم العميق، تتطلب كل مهمة ملايين الأمثلة التي يمكن التعلم منها لكل قدرة يتعلمها الذكاء الاصطناعي.
يوضح Larochelle:
“… الفكرة هي أننا سنحاول مهاجمة هذه المشكلة بشكل مباشر للغاية، مشكلة التعلم قليل اللقطات، وهي مشكلة التعميم من كميات قليلة من البيانات.
… الفكرة الرئيسية فيما سأقدمه هو أنه بدلاً من محاولة تحديد ما هي خوارزمية التعلم هذه بواسطة N واستخدام حدسنا فيما يتعلق بالخوارزمية الصحيحة للقيام بالتعلم القليل، ولكن في الواقع حاول تعلم تلك الخوارزمية في طريقة شاملة.
وهذا هو السبب في أننا نسميها تعلم التعلم أو أحب تسميته، التعلم التلوي “.
الهدف من أسلوب اللقطات القليلة هو تقريب كيفية تعلم البشر أشياء مختلفة ويمكنهم تطبيق أجزاء مختلفة من المعرفة معًا من أجل حل المشكلات الجديدة التي لم تتم مواجهتها من قبل.
اكتب محتوى جذابًا بأسلوبك الفريد
أتمتة إنشاء المحتوى بالكامل؛ الحصول على أفكار محتوى مخصصة؛ وكتابة المقالات وتحسينها ونشرها بنقرة واحدة – باستخدام ContentShake.
الميزة إذن هي آلة يمكنها الاستفادة من كل المعرفة التي لديها لحل المشكلات الجديدة.
في حالة PaLM ، أحد الأمثلة على هذه القدرة هو قدرتها على شرح نكتة لم تصادفها من قبل.
مسارات AI
في أكتوبر 2021، نشرت Google مقالًا يوضح أهداف بنية ذكاء اصطناعي جديدة تسمى Pathways.
تمثل Pathways فصلاً جديدًا في التقدم المستمر في تطوير أنظمة الذكاء الاصطناعي.
كان النهج المعتاد هو إنشاء خوارزميات تم تدريبها للقيام بأشياء محددة بشكل جيد للغاية.
يتمثل نهج Pathways في إنشاء نموذج ذكاء اصطناعي واحد يمكنه حل جميع المشكلات من خلال تعلم كيفية حلها، وبهذه الطريقة تجنب الطريقة الأقل كفاءة لتدريب آلاف الخوارزميات لإكمال آلاف المهام المختلفة.
وفقًا لوثيقة Pathways:
“بدلاً من ذلك، نرغب في تدريب نموذج واحد لا يمكنه التعامل مع العديد من المهام المنفصلة فحسب، بل يعتمد أيضًا على مهاراته الحالية ويجمعها لتعلم مهام جديدة بشكل أسرع وأكثر فعالية.
وبهذه الطريقة، فإن ما يتعلمه النموذج من خلال التدريب على مهمة واحدة – على سبيل المثال، تعلم كيف يمكن للصور الجوية أن تتنبأ بارتفاع المناظر الطبيعية – يمكن أن يساعده في تعلم مهمة أخرى – على سبيل المثال، التنبؤ بكيفية تدفق مياه الفيضانات عبر تلك التضاريس “.
حددت Pathways مسار Google للأمام لنقل الذكاء الاصطناعي إلى المستوى التالي لسد الفجوة بين التعلم الآلي والتعلم البشري.
أحدث نموذج من Google ، يسمى Pathways Language Model (PaLM)، هو الخطوة التالية ووفقًا لهذه الورقة البحثية الجديدة، يمثل PaLM تقدمًا كبيرًا في مجال الذكاء الاصطناعي.
ما الذي يجعل Google PaLM بارزًا
تقوم PaLM بقياس عملية التعلم قليلة اللقطات.
حسب الورقة البحثية:
“لقد ثبت أن النماذج اللغوية الكبيرة تحقق أداءً رائعًا عبر مجموعة متنوعة من مهام اللغة الطبيعية باستخدام القليل من التعلم، مما يقلل بشكل كبير من عدد أمثلة التدريب الخاصة بالمهام اللازمة لتكييف النموذج مع تطبيق معين.
لتعزيز فهمنا لتأثير المقياس على التعلم قليل اللقطات، قمنا بتدريب 540 مليار متغير، تم تنشيطه بكثافة، نموذج لغة Transformer ، والذي نسميه نموذج لغة المسارات (PaLM). “
هناك العديد من الأوراق البحثية المنشورة التي تصف الخوارزميات التي لا تؤدي بشكل أفضل من الحالة الحالية للفن أو تحقق تحسنًا تدريجيًا فقط.
هذا ليس هو الحال مع PaLM. يزعم الباحثون أن هناك تحسينات كبيرة على أفضل النماذج الحالية بل إنها تفوقت على المعايير البشرية.
هذا المستوى من النجاح هو ما يجعل هذه الخوارزمية الجديدة جديرة بالملاحظة.
يكتب الباحثون:
“نظهر الفوائد المستمرة للتوسع من خلال تحقيق أحدث نتائج التعلم على مئات من فهم اللغة ومعايير الجيل.
في عدد من هذه المهام، يحقق PaLM 540B أداءً مذهلاً، متفوقًا على أحدث التقنيات في مجموعة من مهام التفكير متعددة الخطوات، ويتفوق على متوسط الأداء البشري في معيار BIG القياسي الذي تم إصداره مؤخرًا.
أظهر عدد كبير من مهام مقاعد البدلاء الكبيرة تحسينات متقطعة من مقياس النموذج، مما يعني أن الأداء زاد بشكل حاد مع توسيع نطاقنا إلى أكبر نموذج لدينا. “
يتفوق PaLM على أحدث ما توصل إليه العلم في مهام معالجة اللغة الإنجليزية الطبيعية وهذا يجعل PaLM مهمًا ومميزًا.
وفقًا لمعيار تعاوني يسمى BIG-bench يتكون من أكثر من 150 مهمة (تتعلق بالمنطق والترجمة والإجابة على الأسئلة)، تفوقت PaLM على أحدث ما توصلت إليه التكنولوجيا ولكن كانت هناك مجالات لم تفعل فيها كذلك.
وتجدر الإشارة إلى أن الأداء البشري تفوق على PaLM في 35٪ من المهام، خاصة المهام المتعلقة بالرياضيات (انظر القسم 6.2 BIG-bench من ورقة البحث، الصفحة 17).
كان PaLM أفضل في ترجمة لغة أخرى إلى الإنجليزية من ترجمة الإنجليزية إلى لغات أخرى. ذكر الباحثون أن هذه مشكلة شائعة يمكن حلها من خلال إعطاء الأولوية لمزيد من البيانات متعددة اللغات.
ومع ذلك، فقد تفوقت PaLM إلى حد كبير على نماذج اللغات الأخرى والبشر في جميع المجالات.
القدرة على التفكير
وتجدر الإشارة بشكل خاص إلى الأداء بمهام التفكير المنطقي والحسابي.
مثال على مهمة حسابية:
سؤال: روجر لديه 5 كرات تنس. قام بشراء علبتين إضافيتين من كرات التنس. تحتوي كل منها على 3 كرات تنس. كم عدد كرات التنس لديه الآن؟
الجواب: 11.
مثال على التفكير المنطقي:
سؤال: كان شون في عجلة من أمره للعودة إلى المنزل، لكن الضوء تحول إلى اللون الأصفر وأجبر على فعل ماذا؟ خيارات الإجابة: (أ) خذ وقتًا (ب) تباطأ (ج) تحرك ببطء (د) المحيط (هـ) أبطئ
الجواب: (هـ) يبطئ.
توليد التفسيرات
مثال آخر غير عادي على مدى تقدم PaLM في اختبارات توليد التفسيرات.
إليك كيف تشرح الورقة البحثية ذلك:
“الهدف من هذا القسم هو عرض قدرات PaLM فيما يتعلق بتوليد اللغة التفسيرية، للمطالبات التي تتطلب مزيجًا معقدًا من تسلسل الاستدلال المنطقي، والمعرفة العالمية، وفهم اللغة المجرد، وفهم اللغة المعجمية (على سبيل المثال، التورية).”
شروحات نكت
فيما يلي مثال لنموذج اللغة يشرح مزحة:
نكتة: كنت سأطير لزيارة عائلتي في السادس من أبريل. قالت أمي: “رائع، قراءة شعر والدك هي تلك الليلة!”
لذا سأسافر الآن في السابع من أبريل.
نموذج الشرح: النكتة هي أن والدة المتحدث تحاول حملهم على الذهاب لقراءة شعر والدهم، لكن المتحدث لا يريد الذهاب، لذلك يغيرون رحلتهم إلى اليوم التالي لقراءة الشعر.
تسلسل الاستدلال
فيما يلي مثال على تسلسل الاستدلال، حيث يجب ربط العديد من المفاهيم والكيانات بشكل صحيح وأخذها في الاعتبار لإنشاء إجابة.
” الإدخال: كانكان Guido يكتب برنامج Python. يستمر في الخلط بينه وبين النطاق المتغير ويبحث عنه على StackOverflow.
هل من الممكن أن يشير Guido في موجه الأوامر إلى Guido van Rossum؟
إخراج النموذج:Guido van Rossum هو مبتكر لغة Python. لن يحتاج إلى البحث عن نطاق متغير على StackOverflow. الجواب “لا”.
هنا مثال آخر:
” الإدخال: نظرت جينيفر من نافذتها ورأت سحابة رائعة حقًا تحتها. قامت بفك حزام الأمان وتوجهت إلى الحمام. هل من المحتمل أن تسافر جينيفر أكثر من 300 ميل في الساعة بالنسبة إلى الأرض؟
إخراج النموذج:300 ميل في الساعة حوالي 480 كم / ساعة. هذا يتعلق بسرعة طائرة تجارية. عادة ما تكون الغيوم أسفل الطائرات، لذلك من المحتمل أن تكون جينيفر على متن طائرة.
الجواب نعم”.”
محرك بحث من الجيل التالي؟
يوضح المثال أعلاه لقدرة PaLM على التفكير المعقد كيف يمكن لمحرك بحث من الجيل التالي أن يجيب على إجابات معقدة باستخدام المعرفة من الإنترنت والمصادر الأخرى.
يعد تحقيق بنية الذكاء الاصطناعي التي يمكن أن تنتج إجابات تعكس العالم من حولنا أحد الأهداف المعلنة لـ Google Pathways و PaLM هو خطوة في هذا الاتجاه.
ومع ذلك، أكد مؤلفو البحث أن PaLM ليست الكلمة الأخيرة في مجال الذكاء الاصطناعي والبحث. لقد كانوا صريحين في قولهم إن PaLM هي الخطوة الأولى نحو النوع التالي من محركات البحث التي تتصورها Pathways.
قبل المضي قدمًا، هناك كلمتان، المصطلحات إذا جاز التعبير، من المهم فهمها من أجل الحصول على ما يدور حول PaLM.
- أشكال
- تعميم
كلمة ” طرائق ” هي إشارة إلى كيفية تجربة الأشياء أو الحالة التي توجد فيها، مثل النص الذي يُقرأ، والصور التي تُرى، والأشياء التي يتم الاستماع إليها.
تتعلق كلمة ” التعميم ” في سياق التعلم الآلي بقدرة نموذج اللغة على حل المهام التي لم يتم التدريب عليها من قبل.
لاحظ الباحثون:
“PaLM ليست سوى الخطوة الأولى في رؤيتنا نحو إنشاء Pathways كمستقبل لتوسيع ML في Google وخارجها.
نعتقد أن PaLM يوضح أساسًا قويًا في هدفنا النهائي المتمثل في تطوير نظام معياري واسع النطاق سيكون له قدرات تعميم واسعة عبر طرائق متعددة. “
مخاطر العالم الحقيقي والاعتبارات الأخلاقية
شيء مختلف في هذه الورقة البحثية هو أن الباحثين يحذرون من الاعتبارات الأخلاقية.
يذكرون أن النماذج اللغوية واسعة النطاق المدربة على بيانات الويب تمتص العديد من الصور النمطية “السامة” والتفاوتات الاجتماعية التي تنتشر على الويب ويذكرون أن PaLM لا يقاوم تلك التأثيرات غير المرغوب فيها.
تستشهد الورقة البحثية بورقة بحثية من عام 2021 تستكشف كيف يمكن للنماذج اللغوية واسعة النطاق أن تعزز الضرر التالي:
- التمييز والإقصاء والسمية
- مخاطر المعلومات
- التضليل يضر
- الاستخدامات الضارة
- أضرار التفاعل بين الإنسان والحاسوب
- الأتمتة والوصول والأضرار البيئية
أخيرًا، لاحظ الباحثون أن PaLM تعكس بالفعل الصور النمطية الاجتماعية السامة وتوضح أن تصفية هذه التحيزات يمثل تحديًا.
يشرح باحثو PaLM:
“يكشف تحليلنا أن بيانات التدريب لدينا، وبالتالي PaLM ، تعكس القوالب النمطية الاجتماعية المختلفة وارتباطات السمية حول مصطلحات الهوية.
ومع ذلك، فإن إزالة هذه الارتباطات ليس بالأمر الهين … يجب أن ينظر العمل المستقبلي في المعالجة الفعالة لمثل هذه التحيزات غير المرغوب فيها في البيانات، وتأثيرها على سلوك النموذج.
وفي الوقت نفسه، يجب أن يؤدي أي استخدام في العالم الحقيقي لـ PaLM للمهام النهائية إلى مزيد من تقييمات الإنصاف السياقية لتقييم الأضرار المحتملة وتقديم إجراءات التخفيف والحماية المناسبة. “
يمكن اعتبار PaLM بمثابة نظرة خاطفة على الشكل الذي سيبدو عليه الجيل التالي من البحث. تقدم PaLM ادعاءات غير عادية لتفوقها على أحدث ما توصلت إليه التكنولوجيا، لكن الباحثين ذكروا أيضًا أنه لا يزال هناك المزيد من العمل الذي يتعين القيام به، بما في ذلك إيجاد طريقة للتخفيف من الانتشار الضار للمعلومات المضللة والصور النمطية السامة والنتائج غير المرغوب فيها الأخرى.
المصدر: searchenginejournal
شاهد المزيد:
