اعتماد MLSecOps للتعلم الآلي الآمن على نطاق واسع
نظرًا لتعقيد وحساسية وحجم مجموعة برامج المؤسسة النموذجية، كان الأمان دائمًا بطبيعة الحال مصدر قلق مركزي لمعظم فرق تكنولوجيا المعلومات.
لكن بالإضافة إلى التحديات الأمنية المعروفة التي تواجهها فرق المطورين، تحتاج المؤسسات أيضًا إلى التفكير في مصدر جديد للتحديات الأمنية: التعلم الآلي (ML).
يرتفع اعتماد ML في كل قطاع، حيث وجدت McKinsey أنه بحلول نهاية العام الماضي، اعتمدت 56٪ من الشركات تعلم ML في وظيفة عمل واحدة على الأقل.
مع ذلك، في السباق نحو التبني، يواجه الكثيرون تحديات أمنية مميزة تأتي مع ML، إلى جانب تحديات في نشر ML والاستفادة منه بشكل مسؤول.
هذا صحيح بشكل خاص في السياقات الحديثة حيث يتم نشر التعلم الآلي على نطاق واسع لحالات الاستخدام التي تتضمن البيانات والبنية التحتية الهامة.
تصبح المخاوف الأمنية المتعلقة بالتعليم الآلي ملحة بشكل خاص عندما تعمل التكنولوجيا في بيئة مؤسسة حية، نظرًا لحجم الاضطراب المحتمل الذي تسببه الانتهاكات الأمنية.
طوال الوقت، يحتاج ML أيضًا إلى الاندماج في الممارسات الحالية لفرق تكنولوجيا المعلومات وتجنب كونه مصدرًا للاختناقات ووقت تعطل للمؤسسة.
مع المبادئ التي تحكم الاستخدام المسؤول للذكاء الاصطناعي، فإن هذا يعني أن الفرق تغير ممارساتها لبناء ممارسات أمنية قوية في أعباء عملها.
صعود MLSecOps
لمعالجة هذه المخاوف، هناك دافع بين ممارسي التعلم الآلي لتكييف الممارسات التي طوروها للمطورين وأمن تكنولوجيا المعلومات لنشر ML على نطاق واسع.
هذا هو السبب في أن المحترفين العاملين في الصناعة يبنون تخصصًا يدمج الأمان وdevops وML – عمليات أمان التعلم الآلي، أو ‘MLSecOps’ باختصار.
كممارسة، تعمل MLSecOps على الجمع بين البنية التحتية ML والأتمتة بين فرق المطورين والعمليات وسياسات الأمان.
ولكن ما هي التحديات التي تحلها MLSecOps بالفعل؟ وكيف؟
تم تشجيع ظهور MLSecOps من خلال الأهمية المتزايدة لمجموعة واسعة من التحديات الأمنية التي تواجه الصناعة.
لإعطاء فكرة عن نطاق وطبيعة المشاكل التي ظهرت MLSecOps استجابة لها، دعنا نغطي مشكلتين بالتفصيل: الوصول إلى نقاط النهاية النموذجية ونقاط الضعف في سلسلة التوريد.
الوصول إلى النموذج
هناك مخاطر أمنية كبيرة تفرضها مستويات مختلفة من الوصول غير المقيد إلى نماذج التعلم الآلي.
يمكن تعريف المستوى الأول والأكثر سهولة للوصول إلى نموذج على أنه وصول “الصندوق الأسود”، أي القدرة على إجراء الاستدلال على نماذج ML.
على الرغم من أن هذا هو المفتاح لضمان استهلاك النماذج من قبل العديد من التطبيقات وحالات الاستخدام لإنتاج قيمة الأعمال، إلا أن الوصول غير المقيد لاستهلاك التنبؤات إلى نموذج يمكن أن يؤدي إلى مخاطر أمنية مختلفة.
يمكن أن يتعرض النموذج المكشوف لهجوم “عدائي”. يرى مثل هذا الهجوم نموذجًا هندسيًا عكسيًا لتوليد “أمثلة معادية”، وهي مدخلات للنموذج مع ضوضاء إحصائية مضافة.
يعمل هذا الضجيج الإحصائي على التسبب في إساءة تفسير أحد المدخلات والتنبؤ بفئة مختلفة عن تلك التي يمكن توقعها بشكل بديهي.
مثال كتابي عن هجوم معاد يتضمن صورة لإشارة توقف. عند إضافة ضوضاء معادية إلى الصورة، يمكن أن تخدع سيارة ذاتية القيادة تعمل بالذكاء الاصطناعي لتعتقد أنها علامة مختلفة تمامًا – مثل علامة “العائد” – بينما لا تزال تبدو وكأنها علامة توقف للإنسان.
مثال على هجوم عدائي شائع على مصنفات الصور. مصدر الصورة: فابيو كارارا، فابريزيو فالتشي، جوزيبي أماتو (ISTI-CNR)، رودي بيكاريلي وروبرتو كالديلي (وحدة أبحاث CNIT في MICC – جامعة فلورنسا) عبر ERCIM.
ثم هناك وصول إلى نموذج “الصندوق الأبيض”، والذي يتكون من الوصول إلى الأجزاء الداخلية للنموذج، في مراحل مختلفة من تطوير نموذج التعلم الآلي.
في مؤتمر تطوير البرمجيات الأخير، عرضنا كيف يمكن حقن برامج ضارة في نموذج، مما قد يؤدي إلى تشغيل تعليمات برمجية عشوائية وربما ضارة عند نشرها في الإنتاج.
هناك تحديات أخرى يمكن أن تنشأ حول تسرب البيانات. نجح الباحثون في إجراء هندسة عكسية لبيانات التدريب من الأوزان الداخلية المكتسبة للنموذج، مما قد يؤدي إلى تسريب بيانات حساسة و / أو شخصية، مما قد يتسبب في أضرار جسيمة.
نقاط ضعف سلسلة التوريد
هناك قلق أمني آخر يواجه ML هو الذي يواجهه أيضًا الكثير من صناعة البرمجيات، وهو مشكلة سلسلة توريد البرمجيات.
في النهاية، ترجع هذه المشكلة إلى حقيقة أن بيئة تكنولوجيا المعلومات الخاصة بالمؤسسة معقدة بشكل لا يصدق وتستند إلى العديد من حزم البرامج لتعمل.
في كثير من الأحيان، يمكن أن يؤدي اختراق أحد هذه البرامج في سلسلة التوريد الخاصة بالمؤسسة إلى تعريض الإعداد الآمن تمامًا للخطر.
في سياق غير متعلق بالتعليم الآلي، ضع في اعتبارك خرق SolarWinds لعام 2020 الذي شهد اختراق مساحات شاسعة من الحكومة الفيدرالية الأمريكية وعالم الشركات عبر ثغرة أمنية في سلسلة التوريد.
قد أدى ذلك إلى زيادة الإلحاح لتقوية سلسلة توريد البرمجيات في كل قطاع، لا سيما بالنظر إلى دور البرمجيات مفتوحة المصدر في العالم الحديث.
علاوة على ذلك، حتى البيت الأبيض يستضيف الآن قمم عالية المستوى حول هذا القلق.
مثلما يمكن أن تؤدي الثغرات الأمنية في سلسلة التوريد إلى حدوث خرق في أي بيئة برمجية، يمكنها أيضًا مهاجمة النظام البيئي المحيط بنموذج ML.
في هذا السيناريو، يمكن أن تكون التأثيرات أسوأ، لا سيما بالنظر إلى مقدار اعتماد ML على التطورات مفتوحة المصدر وكيف يمكن أن تكون النماذج معقدة، بما في ذلك سلسلة التوريد النهائية للمكتبات التي يحتاجون إليها للتشغيل بفعالية.
على سبيل المثال، تم اكتشاف هذا الشهر أن حزمة Ctx Python القديمة في مستودع PyPI مفتوح المصدر قد تم اختراقها باستخدام كود سرقة المعلومات، حيث يتم تنزيل ما يزيد عن 27000 نسخة من الحزم المخترقة.
نظرًا لكون Python واحدة من أكثر اللغات شيوعًا في ML، فإن تنازلات سلسلة التوريد مثل اختراق Ctx تضغط بشكل خاص على نماذج ML ومستخدميها.
قد يواجه أي مشرفين أو مساهمين أو مستخدمين لمكتبات البرامج في مرحلة ما التحديات التي تفرضها تبعيات المستوى الثاني أو الثالث أو الرابع أو الأعلى التي تجلبها المكتبات إلى الطاولة – بالنسبة لتعلم الآلة، يمكن أن تصبح هذه التحديات أكثر تعقيدًا بشكل ملحوظ.
من أين تأتي MLSecOps؟
هناك شيء يشترك فيه كلا المثالين أعلاه وهو أنه على الرغم من كونهما مشكلات فنية، إلا أنهما لا يحتاجان إلى تقنية جديدة ليتم معالجتها.
بدلاً من ذلك، يمكن التخفيف من هذه المخاطر من خلال العمليات الحالية والموظفين من خلال وضع معايير عالية على كليهما. أنا أعتبر أن هذا هو المبدأ المحفز وراء MLSecOps – مركزية العمليات القوية لتقوية ML لبيئات الإنتاج.
على سبيل المثال، بينما قمنا بتغطية مجالين رفيعي المستوى فقط خاصين بنماذج ML ورمزه، هناك أيضًا مجموعة واسعة من التحديات حول البنية التحتية لنظام ML.
يمكن استخدام أفضل الممارسات في المصادقة والتفويض لحماية الوصول إلى النموذج ونقاط النهاية والتأكد من أنها تعمل فقط على أساس الحاجة إلى الاستخدام.
على سبيل المثال، يمكن للوصول إلى النماذج الاستفادة من أنظمة الأذونات متعددة المستويات، والتي يمكن أن تخفف من مخاطر حصول الأطراف الخبيثة على كل من الوصول إلى الصندوق الأسود والصندوق الأبيض.
يتمثل دور MLSecOps، في هذه الحالة، في تطوير ممارسات قوية تقوي الوصول إلى النموذج مع الحد الأدنى من عمل علماء البيانات وفرق devops، مما يسمح للفرق بالعمل بشكل أكثر كفاءة وفعالية.
الأمر نفسه ينطبق على سلسلة توريد البرامج، حيث تطلب MLSecOps الجيدة من الفرق أن تبني عملية تحقق بانتظام من تبعياتهم، وتحديثها حسب الاقتضاء، والتصرف بسرعة في اللحظة التي تظهر فيها ثغرة أمنية كاحتمال.
يتمثل التحدي MLSecOps في تطوير هذه العمليات وإدماجها في سير العمل اليومي لبقية فريق تكنولوجيا المعلومات، مع فكرة أتمتة هذه العمليات إلى حد كبير لتقليل الوقت الذي يقضيه في المراجعة اليدوية لسلسلة توريد البرامج.
هناك أيضًا مجموعة واسعة من التحديات حول البنية التحتية وراء أنظمة التعلم الآلي.
لكن ما نأمل أن توضحه لنا هذه الأمثلة هو هذا: في حين أنه لا يمكن جعل نموذج ML والبيئة المرتبطة به غير قابلة للقرصنة، فإن معظم الانتهاكات الأمنية تحدث فقط بسبب الافتقار إلى أفضل الممارسات في المراحل المختلفة من دورة حياة التطوير.
يتمثل دور MLSecOps في تقديم الأمان عن قصد في البنية التحتية التي تشرف على دورة حياة التعلم الآلي الشامل، بما في ذلك القدرة على تحديد نقاط الضعف هذه، وكيف يمكن معالجتها وكيف يمكن أن تتناسب هذه العلاجات مع اليوم- الحياة اليومية لأعضاء الفريق.
MLSecOps هو مجال ناشئ، حيث يواصل الأشخاص العاملون فيه وما حوله استكشاف وتحديد الثغرات الأمنية وأفضل الممارسات في كل مرحلة من مراحل دورة حياة التعلم الآلي.
إذا كنت ممارسًا للتعلم الآلي، فقد حان الوقت الآن للمساهمة في المناقشة المستمرة حيث يستمر تطور مجال MLSecOps.
المصدر: venturebeat
قد يهمك:
