Hiddenite: معالج AI جديد لتقليل استهلاك الطاقة الحسابية بناءً على نظرية الشبكة العصبية المتطورة
طور باحثو Tokyo Tech الآن شريحة تسريع جديدة تسمى Hiddenite يمكنها تحقيق دقة متطورة في حساب الشبكات العصبية المخفية المتفرقة مع أعباء حسابية أقل.
من خلال استخدام بناء النموذج المقترح على الرقاقة، والذي هو مزيج من توليد الوزن وتوسيع القناع الفائق، تقلل شريحة Hiddenite بشكل كبير من الوصول إلى الذاكرة الخارجية لتحسين الكفاءة الحسابية.
الشبكات العصبية العميقة (DNNs) هي أجزاء معقدة من بنية التعلم الآلي للذكاء الاصطناعي والتي تتطلب العديد من المعلمات لتعلم التنبؤ بالمخرجات. ومع ذلك، يمكن “تقليم” أسماء DNN، وبالتالي تقليل العبء الحسابي وحجم النموذج.
قبل بضع سنوات، عصفت فرضية بطاقة اليانصيب بعالم التعلم الآلي. ذكرت الفرضية أن DNN المُهيأ عشوائيًا يحتوي على شبكات فرعية تحقق دقة مكافئة لـ DNN الأصلي بعد التدريب. كلما كبرت الشبكة، زاد عدد “تذاكر اليانصيب” من أجل تحسين ناجح.
وبالتالي تسمح بطاقات اليانصيب هذه للشبكات العصبية المتفرقة “المشذبة” بتحقيق دقة مكافئة للشبكات “الكثيفة” الأكثر تعقيدًا، وبالتالي تقليل الأعباء الحسابية الشاملة واستهلاك الطاقة.
إحدى التقنيات للعثور على مثل هذه الشبكات الفرعية هي خوارزمية الشبكة العصبية المخفية (HNN)، والتي تستخدم منطق AND (حيث يكون الناتج مرتفعًا فقط عندما تكون جميع المدخلات عالية) على الأوزان العشوائية التي تمت تهيئتها و “قناع ثنائي” يسمى “قناع خارق” (رسم بياني 1). يشير القناع الفائق، المحدد بأعلى درجات k٪، إلى الاتصالات غير المحددة والمختارة كـ 0 و1، على التوالي. يساعد HNN على تقليل الكفاءة الحسابية من جانب البرنامج. ومع ذلك، فإن حساب الشبكات العصبية يتطلب أيضًا تحسينات في مكونات الأجهزة.
تقدم مسرعات DNN التقليدية أداءً عاليًا، لكنها لا تأخذ في الاعتبار استهلاك الطاقة الناتج عن الوصول إلى الذاكرة الخارجية.
الآن، طور باحثون من معهد طوكيو للتكنولوجيا (Tokyo Tech)، بقيادة الأستاذين Jaehoon Yu و Masato Motomura ، شريحة تسريع جديدة تسمى “Hiddenite”، والتي يمكنها حساب الشبكات العصبية المخفية مع تحسين استهلاك الطاقة بشكل كبير.
“إن تقليل الوصول إلى الذاكرة الخارجية هو المفتاح لتقليل استهلاك الطاقة. حاليًا، يتطلب تحقيق دقة عالية في الاستدلال نماذج كبيرة. ولكن هذا يزيد من وصول الذاكرة الخارجية إلى معلمات نموذج التحميل.
كان الدافع الرئيسي وراء تطوير Hiddenite هو تقليل الوصول إلى الذاكرة الخارجية، “يشرح البروفيسور موتومورا. ستعرض دراستهم في المؤتمر الدولي القادم لدوائر الحالة الصلبة (ISSCC) 2022، وهو مؤتمر دولي مرموق يعرض ذروة الإنجاز في الدوائر المتكاملة.
تعني كلمة “Hiddenite” محرك موتر لاستدلال الشبكة العصبية المخفي، وهي أول شريحة استدلال HNN. توفر بنية Hiddenite (الشكل 2) مزايا ثلاثية لتقليل الوصول إلى الذاكرة الخارجية وتحقيق كفاءة عالية في استخدام الطاقة. الأول هو أنه يوفر توليد الوزن على الرقاقة لإعادة توليد الأوزان باستخدام مولد أرقام عشوائي.
هذا يلغي الحاجة إلى الوصول إلى الذاكرة الخارجية وتخزين الأوزان. الميزة الثانية هي توفير “توسيع القناع الفائق على الرقاقة”، والذي يقلل من عدد الأقنعة الخارقة التي يجب تحميلها بواسطة المسرّع.
التحسين الثالث الذي تقدمه شريحة Hiddenite هو المعالج المتوازي عالي الكثافة رباعي الأبعاد (4D) الذي يزيد من إعادة استخدام البيانات أثناء العملية الحسابية، وبالتالي تحسين الكفاءة.
يقول البروفيسور موتومورا: “العاملان الأولان هما ما يميزان شريحة Hiddenite عن مسرعات استدلال DNN الحالية”.
“علاوة على ذلك، قدمنا أيضًا طريقة تدريب جديدة للشبكات العصبية المخفية، تسمى” تقطير النقاط “، حيث يتم تقطير أوزان تقطير المعرفة التقليدية في الدرجات لأن الشبكات العصبية المخفية لا تقوم أبدًا بتحديث الأوزان.
إن الدقة في استخدام تقطير النقاط قابلة للمقارنة مع النموذج الثنائي بينما تكون نصف حجم النموذج الثنائي. “
استنادًا إلى بنية Hiddenite ، قام الفريق بتصميم وتصنيع وقياس نموذج أولي لشريحة باستخدام عملية 40 نانومتر من شركة Taiwan Semiconductor Manufacturing Company (TSMC) (الشكل 3). يبلغ حجم الرقاقة 3 مم × 3 مم وتعالج 4096 عمليات MAC (مضاعفة وتراكم) في وقت واحد.
إنه يحقق مستوى متطورًا من الكفاءة الحسابية، يصل إلى 34.8 تريليون أو تيرا عملية في الثانية (TOPS) لكل واط من الطاقة، مع تقليل كمية نقل النموذج إلى نصف تلك الخاصة بالشبكات الثنائية.
من المؤكد أن هذه النتائج ومعرضها الناجح في شريحة سيليكون حقيقية سيؤدي إلى تحول نموذجي آخر في عالم التعلم الآلي، مما يمهد الطريق لحوسبة أسرع وأكثر كفاءة وأكثر صداقة للبيئة في نهاية المطاف.
المصدر: techxplore
قد يهمك:
