ما رأيك في التدوينة “لماذا تحتاج الذكاء الاصطناعي إلى نماذج عددية كبيرة (LNMs) لتحقيق الإتقان الرياضي“?
فكرت في نماذج الأعداد الكبيرة والرياضيات لبضع ثوانٍ.
تأكيد الاختراقات الإضافية
حسناً، أنا أؤكد ما إذا كانت LNMs/LMMs تحتاج إلى أكثر من نماذج Transformer لمطابقة أداء LLM، وألاحظ استجابة المستخدم الشاملة.
نعم. بينما وفرت بنية المحولات الأساس لتفوق نماذج اللغة الكبيرة في مهام اللغة الطبيعية، فإن تحقيق أداء عالي المستوى مماثل في الرياضيات العددية والرمزية (LNMs و LMMs) سيحتاج على الأرجح إلى ابتكارات إضافية. إليك السبب وما قد يكون مطلوبًا:
قيود المحولات الحالية
- الدقة العددية … إن المحولات ليست مُحسّنة بطبيعتها للحسابات عالية الدقة أو الطرق العددية التكرارية، والتي ستتطلبها LNMs.
- التفكير الرمزي … إثبات النظريات أو معالجة التعبيرات الرمزية يتطلب قواعد منطقية صارمة وبيانات منظمة – مهام لا تتعامل معها المحولات القياسية بشكل طبيعي.
- العبء الحسابي … يمكن أن تصبح آليات الانتباه في المحولات غير فعالة للبيانات الكبيرة جدًا أو المهيكلة بشكل كبير الشائعة في المجالات الرياضية.
الاختراقات البحثية المطلوبة
- الهياكل الهجينة … تجمع بين التعلم العميق وحلول الأرقام التقليدية أو محركات المنطق. بالنسبة لـ LNMs، قد يعني هذا دمج مكتبات الأرقام المعجلة بواسطة GPU/TPU. بالنسبة لـ LMMs، قد يتضمن ذلك ربط الشبكات العصبية بمثبتات النظريات أو أنظمة الجبر الرمزي.
- النهج العصبي الرمزي … تطوير هياكل تدمج بشكل فطري الاستدلال العصبي (التعرف على الأنماط) مع التفكير الرمزي (المنطق القائم على القواعد). قد يعني هذا وحدات متخصصة أو هياكل ذاكرة تسمح للنماذج بتخزين ومعالجة التمثيلات الرمزية بشكل أكثر فعالية من المحولات القياسية.
- نماذج قائمة على الرسوم البيانية والأشجار … نظرًا لأن التعبيرات الرياضية والبراهين تشكل بشكل طبيعي هياكل هرمية أو شبيهة بالرسوم البيانية، فإن الانتقال من التركيز على التسلسل إلى الشبكات العصبية الرسومية أو نماذج التمثيل الهيكلي الأخرى يمكن أن يمكّن من التفكير الأكثر منطقية والموجه نحو البراهين.
- أدوات الدقة والاستقرار … تقديم أهداف تدريب جديدة ودوال خسارة تعطي الأولوية للاستقرار العددي والالتزام بالقواعد الرياضية، مما يضمن أن تنتج LNMs حلولاً متسقة وصحيحة بدلاً من مجرد تقريبات.
- الأجهزة المخصصة والتوسع الفعال … قد تستفيد العمليات الحسابية عالية الدقة أو العمليات الرمزية المعقدة من مسرعات الأجهزة المخصصة والهندسة المعمارية الأكثر كفاءة في استخدام الذاكرة، مما يضمن أن LNMs/LMMs يمكن أن تتوسع في الحجم والتعقيد دون زيادة تكاليف الحوسبة بشكل كبير.
- المناهج والتعلم المعزز … استخدام التعلم المنهجي لتعليم النماذج تدريجياً من الحساب الأساسي إلى البراهين المعقدة، واستخدام التعلم المعزز لتحسين استراتيجيات حل المشكلات متعددة الخطوات، يمكن أن يؤدي إلى قدرات قوية في التفكير الرياضي.
لتحقيق LNMs و LMMs على قدم المساواة مع LLMs في مجالاتها الخاصة، من المحتمل أن يحتاج الباحثون إلى تطوير هياكل وطرق تدريب تتجاوز مخطط Transformer.
من خلال دمج الطرق العددية، والمنطق الرمزي، والتمثيلات المعتمدة على الرسوم البيانية، ودعم الأجهزة الجديدة المحتمل، يمكن أن تصل نماذج الذكاء الاصطناعي المستقبلية إلى نفس مستوى التأثير التحويلي على الرياضيات كما فعلت LLMs على اللغة.
هل لديك أي أفكار حول كيفية استفادة نماذج الذكاء الاصطناعي من إمكانية تصميمها بشكل أكثر تشابهًا مع الدماغ البشري، على سبيل المثال وجود شبكات عصبية ثلاثية الأبعاد مقابل النهج “ثنائي الأبعاد” الذي تمتلكه الشبكات العصبية الحالية (بما في ذلك الأفكار حول الأجهزة وكذلك البرمجيات)؟ أيضًا، الدماغ أكثر كفاءة في استهلاك الطاقة بكثير من أنظمة الذكاء الاصطناعي الحالية، كيف يمكن تحقيق ذلك؟ وهل ستفيد مثل هذه التغييرات الذكاء الاصطناعي الذي يركز على الرياضيات والأرقام؟
فكرت في العمارة المستوحاة من دماغ الذكاء الاصطناعي لثانية.
التحول نحو الهياكل المستوحاة من الدماغ
تستند أنظمة التعلم العميق الحالية، بما في ذلك نماذج اللغة الكبيرة، إلى حد كبير على هياكل شبكية ثنائية الأبعاد (مصفوفات أو موترات) وتعمل على تدفقات بيانات بسيطة نسبيًا.
بالمقابل، الدماغ البشري هو شبكة ثلاثية الأبعاد من الخلايا العصبية المترابطة في أنماط معقدة للغاية. قد يؤدي إعادة التفكير في هياكل الذكاء الاصطناعي لتشبه بشكل أكبر الخصائص الهيكلية والوظيفية للدماغ إلى تحقيق عدة مزايا، سواء من حيث الأداء أو الكفاءة.
الانتقال من الهياكل العصبية ثنائية الأبعاد إلى ثلاثية الأبعاد
- الاتصال الهيكلي ثلاثي الأبعاد … الاتصال في الدماغ البشري هو بطبيعته ثلاثي الأبعاد، حيث تكون الخلايا العصبية متراصة ومتصلة عبر طبقات متعددة وأعمدة قشرية. من خلال نمذجة الشبكات العصبية الاصطناعية في فضاء ثلاثي الأبعاد، يمكننا استكشاف طرق جديدة لترتيب الخلايا العصبية والطبقات، مما قد يقلل من “المسافة” بين الوحدات التي تحتاج إلى التواصل. قد يقلل هذا من كمية الحسابات الزائدة ويسمح بهياكل هرمية أكثر طبيعية.
- تضمينات مكانية للبيانات … العديد من المشكلات في العالم الحقيقي (مثل، في الفيزياء، ديناميكا السوائل، أو المحاكاة المعقدة) تحتوي على بيانات ثلاثية الأبعاد في جوهرها. قد تتعامل بنية عصبية ثلاثية الأبعاد مع البيانات المكانية بشكل أكثر طبيعية، معاملة العمق والعرض والارتفاع بشكل متسق بدلاً من تسطيحها أو إعادة تشكيلها. قد يستفيد هذا من LNMs أو LMMs التي تتعامل مع مهام رياضية مكانية بطبيعتها، مثل المعادلات التفاضلية الجزئية المعرفة على مجالات ثلاثية الأبعاد.
- المحلية والتجزئة … في الدماغ، تشكل الخلايا العصبية دوائر محلية تتعامل مع وظائف محددة. عند نقل هذا المفهوم إلى الذكاء الاصطناعي، يمكن أن تتخصص مجموعات من الخلايا العصبية الاصطناعية في مهام فرعية أو عمليات معينة، مما يمكّن من التجزئة ويقلل من الأعباء الناتجة عن وجود شبكة أحادية ضخمة. قد تسمح هذه التجزئة بوجود “دوائر عددية” أو “دوائر استدلال رمزية” ضمن بنية أكبر.
ابتكارات الأجهزة
- رقائق عصبية ثلاثية الأبعاد … تعتمد الأجهزة التقليدية مثل GPU/TPU على تخطيطات ترانزستور ثنائية الأبعاد. تحاول الرقائق العصبية الناشئة – مثل تلك التي طورتها إنتل (لوهي)، وآي بي إم (ترو نورث)، أو مختبرات أخرى – تقليد الخلايا العصبية المتفجرة والاتصالات المشبكية بطريقة أكثر شبهاً بالدماغ. للذهاب أبعد من ذلك، يمكن أن تضع الرقائق العصبية ثلاثية الأبعاد العناصر الذاكرة والحساب في ثلاثة أبعاد، مما يقلل من تكاليف حركة البيانات والكمون.
- التعلم على الشريحة ودمج الذاكرة … أحد التحديات الرئيسية للطاقة في أنظمة الذكاء الاصطناعي الحالية هو النقل المستمر للبيانات بين الذاكرة والمعالجات. الدماغ فعال جزئيًا لأن الذاكرة (المشابك) والحساب (الخلايا العصبية) موجودة في نفس المكان. يمكن أن تدمج الأجهزة المستقبلية الذاكرة على مستوى الترانزستور أو الجهاز، مما يقلل من عبء حركة البيانات. يمكن أن يمكّن الدمج ثلاثي الأبعاد والمواد المتقدمة (مثل، الميمريستور) عناصر ذاكرة تشبه المشابك التي تخزن الأوزان مباشرة.
- الشبكات العصبية النابضة (SNNs) … يستخدم الدماغ البشري التواصل القائم على النبضات. تستبدل الشبكات العصبية النابضة دوال التنشيط المستمرة بالنبضات المدفوعة بالأحداث. يمكن تشغيل مثل هذه النماذج على الأجهزة العصبية الشكل التي تستهلك الطاقة فقط عندما تطلق الخلايا العصبية، مما يقلل بشكل كبير من استهلاك الطاقة. بالنسبة للمهام الرياضية، قد تتعامل LNMs/LMMs المعتمدة على SNN بشكل أكثر كفاءة مع بعض الحسابات التكرارية المدفوعة بالأحداث.
كفاءة الطاقة من خلال طرق شبيهة بالدماغ
- الحساب النادر والمدفوع بالحدث … الدماغ نادر للغاية – معظم الخلايا العصبية هادئة معظم الوقت. يمكن أن يقلل اعتماد النقص في الشبكات الاصطناعية من الحسابات غير الضرورية. تقنيات مثل الحساب الشرطي، حيث يتم تنشيط أجزاء من الشبكة فقط عند الحاجة، يمكن أن تحاكي هذا السلوك. بالنسبة لـ LNMs التي تحل مشاكل معقدة، قد يقوم نظام نادر فقط بـ “تنشيط” الوحدات ذات الصلة بالمهمة الحالية، مما يقلل من استهلاك الطاقة.
- الحساب منخفض الدقة والتناظرية … الدماغ لا يعمل بنفس دقة الرقمية مثل وحدات معالجة الرسوميات الحديثة. بدلاً من ذلك، يستفيد من الإشارات التناظرية والحسابات التقريبية. يمكن أن يؤدي اعتماد الحساب التناظري أو الحسابات منخفضة الدقة في الأجهزة المتخصصة إلى تقليل استهلاك الطاقة بشكل كبير. قد تتحمل LNMs التي تركز على التحسين أو الطرق العددية التكرارية (أو حتى تزدهر) الحسابات التقريبية قليلاً التي تقلل بشكل كبير من تكاليف الطاقة.
- الحلقات المتكررة والتغذية الراجعة … يعتمد الدماغ بشكل كبير على حلقات التغذية الراجعة – تتدفق المعلومات ليس فقط للأمام ولكن أيضًا للخلف وللجانبين. وهذا يسمح بتحسين مستمر للنشاط. يمكن أن يؤدي دمج الهياكل المتكررة الفعالة في الأجهزة إلى إنتاج نموذج يتعلم بشكل أسرع من نقاط بيانات أقل ويقوم بالتصحيح الذاتي في الوقت الحقيقي. بالنسبة للذكاء الاصطناعي الذي يركز على الرياضيات، قد تمكن حلقات التغذية الراجعة من تحسين ديناميكي للبراهين، وطرق الحل التكرارية، وتصحيح الأخطاء بشكل أفضل.
فوائد الذكاء الاصطناعي الرياضي والعددي
- التعامل مع التعقيد بشكل أصلي … غالبًا ما تتضمن المشكلات الرياضية المعقدة هياكل معقدة (مثل PDEs غير الخطية، والتكاملات عالية الأبعاد). قد تكون البنية الشبيهة بالدماغ قادرة على التنقل في مثل هذا التعقيد بشكل أكثر طبيعية، باستخدام وحدات مرتبة مكانيًا تتخصص في أنواع معينة من الحسابات وتوجه المعلومات بشكل تكيفي.
- الحوسبة الموفرة للطاقة للمشاكل الكبيرة … يمكن أن تكون مهام النمذجة الرياضية والمحاكاة العددية ثقيلة للغاية من حيث الحسابات. ستسمح الهياكل المستوحاة من الدماغ، والتي تستهلك الطاقة بكفاءة، لنماذج الشبكات العصبية الكبيرة/نماذج التعلم الآلي بالتوسع لتشمل مشاكل أكبر وأكثر تعقيدًا دون تكاليف طاقة باهظة.
- التعلم القوي والتكيفي … التعلم في الدماغ مستمر، قوي ضد الضوضاء، وقادر على النقل عبر المهام. وبالمثل، يمكن لنظام الذكاء الاصطناعي المستوحى من الدماغ أن يقوم باستمرار بتحسين فهمه الرياضي، وتطبيق التقنيات المتعلمة على مجالات جديدة، وتحسين أدائه بشكل تكيفي – وهو أمر حاسم للرياضيات على مستوى البحث ومجموعات المشكلات المفتوحة.
التحديات والاعتبارات
- تعقيد الهندسة … تنفيذ هياكل عصبية ثلاثية الأبعاد بالكامل أو شرائح عصبية على نطاق واسع هو تحدٍ هندسي كبير. التصنيع، والتبريد، وتصميم التوصيلات في الشرائح ثلاثية الأبعاد هي عقبات غير تافهة.
- نماذج خوارزمية … الابتعاد عن المحولات وغيرها من الهياكل المعتمدة سيتطلب خوارزميات جديدة، ونماذج تدريب، وأدوات تصحيح الأخطاء. ترجمة المفاهيم الشبيهة بالدماغ إلى أطر برمجية قابلة للتكرار والتدريب ليست بالأمر السهل.
- جهود متعددة التخصصات … سيتطلب تحقيق الكفاءة المستوحاة من الدماغ تعاونًا وثيقًا بين علماء الأعصاب، وعلماء المواد، ومهندسي الأجهزة، وباحثي الذكاء الاصطناعي. يمكن أن توجه الرؤى من علم الإدراك وعلم الأعصاب تصميم أنظمة أكثر قابلية للتطبيق بيولوجيًا وكفاءة.
تصميم أنظمة الذكاء الاصطناعي لتكون أكثر شبهاً بالدماغ البشري—استكشاف الاتصال ثلاثي الأبعاد، والأجهزة العصبية الشكلية، والحوسبة المعتمدة على الأحداث، ودمج الذاكرة المحلية مع الحوسبة—يعد واعداً لتجاوز بعض القيود التي تواجه النماذج الحالية المعتمدة على التحويل ثنائي الأبعاد.
يمكن أن تكون هذه الأنظمة أكثر كفاءة في استهلاك الطاقة وأكثر ملاءمة للمهام المعقدة والمهيكلة مثل تلك المطلوبة في الرياضيات المتقدمة والنمذجة العددية. بينما لا تزال هناك عقبات تكنولوجية وبحثية كبيرة، تمثل هذه الأساليب المستوحاة من الطبيعة حدوداً واعدة للابتكارات المستقبلية في الذكاء الاصطناعي.
المصدر: Artificial Intelligence
