Hiddenite: معالج ذكاء اصطناعي جديد قائم على نظرية الشبكة العصبية المتطورة
طور باحثو Tokyo Tech الآن شريحة تسريع جديدة تسمى “Hiddenite” يمكنها تحقيق دقة متطورة في حساب “الشبكات العصبية المخفية” المتفرقة مع أعباء حسابية أقل.
من خلال استخدام بناء النموذج المقترح على الرقاقة، والذي هو مزيج من توليد الوزن وتوسيع “القناع الفائق”، تقلل شريحة Hiddenite بشكل كبير من الوصول إلى الذاكرة الخارجية لتحسين الكفاءة الحسابية.
الشبكات العصبية العميقة (DNNs) هي جزء معقد من بنية التعلم الآلي للذكاء الاصطناعي (التعلم الاصطناعي) التي تتطلب العديد من المعلمات لتعلم التنبؤ بالمخرجات.
ومع ذلك، يمكن “تقليم” أسماء DNN، وبالتالي تقليل العبء الحسابي وحجم النموذج. قبل بض سنوات “فرضية تذاكر اليانصيب” بعالم التعلم الآلي.
ذكرت الفرضية أن DNN المُهيأ عشوائيًا يحتوي على شبكات فرعية تحقق دقة مكافئة لـ DNN الأصلي بعد التدريب.
كلما كبرت الشالشبكة ،دت “تذاكر اليانصيب” من أجل تحسين ناجح. وبالتالي تسمح بطاقات اليانصيب هذه للشبكات العصبية المتفرقة “المشذبة” بتحقيق دقة مكافئة لشبكات أكثر تعقيدًا “كثيفة”، وبالتالي تقليل الأعباء الحسابية الشاملة واستهلاك الطاقة.
الشكل 1. تجد HNNs شبكات فرعية متفرقة تحقق دقة مكافئة للنموذج الأصلي الكثيف المدرب. الائتمان: ماساتو موتومورا من طوكيو تك
إحدى التقنيات للعثور على مثل هذه الشبكات الفرعية هي خوارزمية الشبكة العصبية المخفية (HNN)، والتي تستخدم منطق AND (حيث يكون الناتج مرتفعًا فقط عندما تكون جميع المدخلات عالية) على الأوزان العشوائية التي تمت تهيئتها و “قناع ثنائي” يسمى “قناع خارق” (رسم بياني 1).
يشير القناع الفائق، المحدد بأعلى درجات k٪، إلى الاتصالات غير المحددة والمختارة كـ 0 و1، على التوالي. يساعد HNN على تقليل الكفاءة الحسابية من جانب البرنامج. ومع ذلك، فإن حساب الشبكات العصبية يتطلب أيضًا تحسينات في الأجهزة.
تقدم مسرعات DNN التقليدية أداءً عاليًا، لكنها لا تأخذ في الاعتبار استهلاك الطاقة الناتج عن الوصول إلى الذاكرة الخارجية.
الآن، طور باحثون من معهد طوكيو للتكنولوجيا (Tokyo Tech)، بقيادة الأستاذين Jaehoon Yu و Masato Motomura ، شريحة تسريع جديدة تسمى “Hiddenite”، والتي يمكنها حساب الشبكات العصبية المخفية مع تحسين استهلاك الطاقة بشكل كبير. “
إن تقليل الوصول إلى الذاكرة الخارجية هو المفتاح لتقليل استهلاك الطاقة. حاليًا، يتطلب تحقيق دقة عالية في الاستدلال نماذج كبيرة.
لكن هذا يزيد من الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. كان الدافع الرئيسي وراء تطوير Hiddenite هو تقليل الوصول إلى الذاكرة الخارجية “، يوضح البروفيسور Motomura.
ستعرض دراستهم في المؤتمر الدولي القادم لدوائر الحالة الصلبة (ISSCC) 2022، مؤتمر دولي مرموق يستعرض ذروة الإنجاز في الدوائر المتكاملة.
الشكل 2. تقدم شريحة Hiddenite الجديدة توليد الوزن على الرقاقة و “توسيع القناع الفائق” على الرقاقة لتقليل الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. الائتمان: ماساتو موتومورا من طوكيو تك
يرمز “Hiddenite” إلى محرك Tensor لاستدلال الشبكة العصبية المخفية وهو أول شريحة استدلال HNN. توفر بنية Hiddenite (الشكل 2) مزايا ثلاثية لتقليل الوصول إلى الذاكرة الخارجية وتحقيق كفاءة عالية في استخدام الطاقة.
الأول هو أنه يوفر توليد الوزن على الرقاقة لإعادة توليد الأوزان باستخدام مولد أرقام عشوائي.
هذا يلغي الحاجة إلى الوصول إلى الذاكرة الخارجية وتخزين الأوزان. الميزة الثانية هي توفير “توسيع القناع الفائق على الرقاقة”، مما يقلل من عدد الأقنعة الفائقة التي يجب تحميلها بواسطة المسرع.
التحسين الثالث الذي تقدمه شريحة Hiddenite هو المعالج المتوازي عالي الكثافة رباعي الأبعاد (4D) الذي يزيد من إعادة استخدام البيانات أثناء العملية الحسابية، وبالتالي تحسين الكفاءة.
الشكل 3. تم تصنيعها باستخدام تقنية 40 نانومتر، ويبلغ حجم قلب منطقة الرقاقة 4.36 ملليمتر مربع فقط. الائتمان: ماساتو موتومورا من طوكيو تك
يوضح البروفيسور موتومورا: “العاملان الأولان هما ما يميزان شريحة Hiddenite عن مسرعات استدلال DNN الحالية”.
علاوة على ذلك، قدمنا أيضًا طريقة تدريب جديدة للشبكات العصبية المخفية، تسمى “تقطير النقاط”، حيث يتم تقطير أوزان تقطير المعرفة التقليدية في الدرجات لأن الشبكات العصبية المخفية لا تقوم أبدًا بتحديث الأوزان.
الدقة في استخدام تقطير النقاط قابلة للمقارنة مع النموذج الثنائي بينما تكون نصف حجم النموذج الثنائي. “
المصدر: scitechdaily
قد يهمك:
