هل يمكننا معرفة ما إذا كانت نماذج التعلم الآلي للذكاء الاصطناعي تعمل بشكل صحيح؟
ما مدى نجاح طرق التفسير لنماذج التعلم الآلي؟
يطور الباحثون طريقة لاختبار ما إذا كانت الأساليب الشائعة لفهم نماذج التعلم الآلي تعمل بشكل صحيح.
تخيل أن فريقًا من الأطباء يستخدم شبكة عصبية لاكتشاف السرطان في صور الماموجرام.
حتى لو بدا أن نموذج التعلم الآلي هذا يعمل بشكل جيد، فقد يركز على ميزات الصورة التي ترتبط بطريق الخطأ بالأورام، مثل العلامة المائية أو الطابع الزمني، بدلاً من العلامات الفعلية للأورام.
لاختبار هذه النماذج، يستخدم الباحثون “طرق إسناد الميزات”، وهي تقنيات من المفترض أن تخبرهم بأجزاء الصورة الأكثر أهمية في تنبؤ الشبكة العصبية.
ولكن ماذا لو فات طريقة الإسناد ميزات مهمة للنموذج؟ نظرًا لأن الباحثين لا يعرفون أي الميزات مهمة في البداية، فليس لديهم طريقة لمعرفة أن طريقة التقييم الخاصة بهم ليست فعالة.
للمساعدة في حل هذه المشكلة، ابتكر باحثو معهد ماساتشوستس للتكنولوجيا عملية لتعديل البيانات الأصلية حتى يكونوا متأكدين من الميزات المهمة بالفعل للنموذج.
ثم يستخدمون مجموعة البيانات المعدلة هذه لتقييم ما إذا كانت أساليب إحالة الميزات يمكنها تحديد تلك الميزات المهمة بشكل صحيح.
تُستخدم طرق إسناد الميزات لتحديد ما إذا كانت الشبكة العصبية تعمل بشكل صحيح عند إكمال مهمة مثل تصنيف الصور.
طور الباحثون طريقة جديدة لتقييم ما إذا كانت طرق إسناد الميزات هذه تحدد بشكل صحيح ميزات الصورة المهمة لتنبؤ الشبكة العصبية. الائتمان: أخبار معهد ماساتشوستس للتكنولوجيا، مع صور من iStockphoto
وجدوا أنه حتى الطرق الأكثر شيوعًا غالبًا ما تفتقد الميزات المهمة في الصورة، وبالكاد تتمكن بعض الطرق من الأداء بالإضافة إلى خط أساس عشوائي.
قد يكون لهذا آثار كبيرة، خاصة إذا تم تطبيق الشبكات العصبية في المواقف عالية الخطورة مثل التشخيصات الطبية.
إذا كانت الشبكة لا تعمل بشكل صحيح، ولم تعمل محاولات اكتشاف مثل هذه الحالات الشاذة بشكل صحيح أيضًا، فقد لا يكون لدى الخبراء البشريين أي فكرة عن تضليلهم من خلال النموذج المعيب، كما يوضح المؤلف الرئيسي ييلون تشو، طالب دراسات عليا في الهندسة الكهربائية وعلوم الكمبيوتر في مختبر علوم الكمبيوتر والذكاء الاصطناعي (CSAIL).
كل هذه الأساليب مستخدمة على نطاق واسع، لا سيما في بعض السيناريوهات عالية المخاطر حقًا، مثل اكتشاف السرطان من الأشعة السينية أو التصوير المقطعي المحوسب.
لكن طرق إسناد الميزات هذه قد تكون خاطئة في المقام الأول. قد يسلطون الضوء على شيء لا يتوافق مع الميزة الحقيقية التي يستخدمها النموذج لعمل توقع، وهو ما وجدنا أنه يحدث غالبًا.
إذا كنت ترغب في استخدام طرق إحالة الميزات هذه لتبرير عمل النموذج بشكل صحيح، فمن الأفضل أن تضمن أن طريقة إحالة الميزات نفسها تعمل بشكل صحيح في المقام الأول، “كما يقول.
كتب زو الورقة مع زميلته سيرينا بوث، طالبة الدراسات العليا في EECS، وباحث أبحاث Microsoft ماركو توليو ريبيرو ، وكبير المؤلفين جولي شاه، وهو أستاذ في معهد ماساتشوستس للتكنولوجيا للملاحة الجوية والفضاء ومدير مجموعة الروبوتات التفاعلية في CSAIL.
التركيز على الميزات
في تصنيف الصور، كل بكسل في الصورة هو ميزة يمكن للشبكة العصبية استخدامها لعمل تنبؤات، لذلك هناك ملايين الميزات الممكنة التي يمكن التركيز عليها.
إذا أراد الباحثون تصميم خوارزمية لمساعدة المصورين الطموحين على التحسين، على سبيل المثال، فيمكنهم تدريب نموذج لتمييز الصور التي يلتقطها المصورون المحترفون عن تلك التي يلتقطها السياح العاديون. يمكن استخدام هذا النموذج لتقييم مدى تشابه صور الهواة مع الصور الاحترافية، وحتى تقديم ملاحظات محددة حول التحسين. يريد الباحثون أن يركز هذا النموذج على تحديد العناصر الفنية في الصور الاحترافية أثناء التدريب، مثل مساحة اللون والتكوين والمعالجة اللاحقة. ولكن يحدث أن الصورة التي تم التقاطها باحتراف تحتوي على الأرجح على علامة مائية لاسم المصور،
“من الواضح أننا لا نريد إخبار المصورين الطموحين بأن العلامة المائية هي كل ما تحتاجه لمهنة ناجحة، لذلك نريد التأكد من أن نموذجنا يركز على الميزات الفنية بدلاً من وجود العلامة المائية.
من المغري استخدام أساليب إحالة الميزات لتحليل نموذجنا، ولكن في نهاية اليوم، ليس هناك ما يضمن أنها تعمل بشكل صحيح، نظرًا لأن النموذج يمكن أن يستخدم ميزات فنية أو علامة مائية أو أي ميزات أخرى “.
“لا نعرف ما هي تلك الارتباطات الزائفة في مجموعة البيانات. يمكن أن يكون هناك الكثير من الأشياء المختلفة التي قد تكون غير محسوسة تمامًا لأي شخص، مثل دقة الصورة، “يضيف بوث. “
حتى لو لم يكن ذلك مدركًا لنا، فمن المحتمل أن تسحب الشبكة العصبية هذه الميزات وتستخدمها في التصنيف. هذه هي المشكلة الأساسية.
نحن لا نفهم مجموعات البيانات لدينا جيدًا، ولكن من المستحيل أيضًا فهم مجموعات البيانات لدينا جيدًا “.
قام الباحثون بتعديل مجموعة البيانات لإضعاف جميع الارتباطات بين الصورة الأصلية وتسميات البيانات، مما يضمن عدم أهمية أي من الميزات الأصلية بعد الآن.
بعد ذلك، يضيفون ميزة جديدة إلى الصورة التي من الواضح أن الشبكة العصبية يجب أن تركز عليها لعمل توقعها، مثل المستطيلات الساطعة ذات الألوان المختلفة لفئات الصور المختلفة.
يقول Zhou: “يمكننا أن نؤكد بثقة أن أي نموذج يحقق ثقة عالية حقًا يجب أن يركز على ذلك المستطيل الملون الذي وضعناه فيه.
ثم يمكننا معرفة ما إذا كانت جميع أساليب إحالة الميزات هذه تتسرع في إبراز هذا الموقع بدلاً من أي شيء آخر”.
نتائج “مثيرة للقلق بشكل خاص”
لقد طبقوا هذه التقنية على عدد من طرق إسناد الميزات المختلفة. بالنسبة لتصنيفات الصور، تُنتج هذه الأساليب ما يُعرف بخريطة الملوحة، والتي تُظهر تركيز الميزات المهمة المنتشرة عبر الصورة بأكملها.
على سبيل المثال، إذا كانت الشبكة العصبية تصنف صورًا للطيور، فقد تُظهر خريطة الملوحة أن 80 بالمائة من السمات المهمة تتركز حول منقار الطائر.
بعد إزالة جميع الارتباطات في بيانات الصورة، قاموا بمعالجة الصور بعدة طرق، مثل تعتيم أجزاء من الصورة، أو ضبط السطوع، أو إضافة علامة مائية.
إذا كانت طريقة إسناد الميزات تعمل بشكل صحيح، فيجب أن توجد حوالي 100 بالمائة من الميزات المهمة حول المنطقة التي تلاعب بها الباحثون.
النتائج لم تكن مشجعة. لم تقترب أي من طرق إحالة الميزات من هدف 100 في المائة، وبالكاد وصلت معظمها إلى مستوى خط أساس عشوائي بنسبة 50 في المائة، وكان أداء بعضها أسوأ من خط الأساس في بعض الحالات.
لذلك، على الرغم من أن الميزة الجديدة هي الميزة الوحيدة التي يمكن أن يستخدمها النموذج لإجراء توقع، إلا أن أساليب إحالة الميزات تفشل أحيانًا في تحديد ذلك.
“لا يبدو أن أيًا من هذه الأساليب موثوقة للغاية، عبر جميع الأنواع المختلفة من الارتباطات الزائفة. هذا مثير للقلق بشكل خاص لأنه، في مجموعات البيانات الطبيعية، لا نعرف أيًا من تلك الارتباطات الزائفة قد تنطبق، “يقول تشو.
يمكن أن يكون كل أنواع العوامل. اعتقدنا أنه يمكننا الوثوق بهذه الأساليب لإخبارنا، ولكن في تجربتنا، يبدو من الصعب حقًا الوثوق بها “.
كانت جميع طرق إسناد السمات التي درسوها أفضل في اكتشاف الشذوذ من عدم وجود شذوذ.
بمعنى آخر، يمكن أن تجد هذه الطرق علامة مائية بسهولة أكبر مما يمكنها تحديد أن الصورة لا تحتوي على علامة مائية. لذلك، في هذه الحالة، سيكون من الأصعب على البشر أن يثقوا بنموذج يعطي تنبؤًا سلبيًا.
يُظهر عمل الفريق أنه من الأهمية بمكان اختبار طرق إحالة الميزات قبل تطبيقها على نموذج في العالم الحقيقي، خاصة في المواقف عالية المخاطر.
يقول شاه: “قد يستخدم الباحثون والممارسون تقنيات شرح مثل طرق إسناد الميزات لتوليد ثقة الشخص في نموذج ما، لكن هذه الثقة لا يتم تأسيسها ما لم يتم تقييم أسلوب التفسير بدقة”.
“يمكن استخدام أسلوب شرح للمساعدة في معايرة ثقة الشخص في النموذج، ولكن من المهم أيضًا معايرة ثقة الشخص في تفسيرات النموذج.”
للمضي قدمًا، يريد الباحثون استخدام إجراءات التقييم الخاصة بهم لدراسة ميزات أكثر دقة أو واقعية يمكن أن تؤدي إلى ارتباطات زائفة.
مجال آخر من مجالات العمل التي يرغبون في استكشافها هو مساعدة البشر على فهم خرائط الملوحة حتى يتمكنوا من اتخاذ قرارات أفضل بناءً على تنبؤات الشبكة العصبية.
المصدر: scitechdaily
قد يهمك:
