لماذا يُعد الذكاء الاصطناعي الموزع مفتاحًا لدفع مظروف الابتكار للذكاء الاصطناعي
قال أيون ستويكا، المؤسس المشارك والرئيس التنفيذي ورئيس Anyscale في اليوم الأول من VB Transform ، إن مستقبل الذكاء الاصطناعي يتم توزيعه. وذلك لأن تعقيد النموذج لا يظهر أي علامات على التباطؤ.
قال: “على مدى العامين الماضيين، زادت متطلبات الحوسبة لتدريب نموذج حديث، اعتمادًا على مجموعة البيانات، ما بين 10 مرات و35 مرة كل 18 شهرًا “.
قبل خمس سنوات فقط، كانت أكبر الموديلات مناسبة لوحدة معالجة رسومات واحدة.
تقدم سريعًا إلى يومنا هذا ولمجرد ملاءمتها لمعايير النماذج الأكثر تقدمًا، فإنها تتطلب مئات أو حتى الآلاف من وحدات معالجة الرسومات.
PaLM ، أو نموذج لغة المسار من Google ، يحتوي على 530 مليار معلمة – وهذا فقط حوالي نصف أكبرها، بأكثر من 1 تريليون معلمة. تستخدم الشركة أكثر من 6000 وحدة معالجة رسومات لتدريب أحدثها.
وأضاف Stoica أنه حتى إذا توقفت هذه النماذج عن النمو واستمرت وحدات معالجة الرسومات في التقدم بنفس المعدل السريع كما في السنوات السابقة، فسيستغرق الأمر حوالي 19 عامًا قبل أن تصبح متطورة بما يكفي لتشغيل هذه النماذج الحديثة على وحدة معالجة رسومات واحدة..
وقال: “في الأساس، هناك فجوة كبيرة، تتزايد شهرًا بعد شهر، بين متطلبات تطبيقات التعلم الآلي وقدرات معالج واحد أو خادم واحد”. “لا توجد طريقة أخرى لدعم أعباء العمل هذه من توزيعها.
إنها بهذه السهولة. كتابة هذه التطبيقات الموزعة صعبة. إنه في الواقع أصعب من ذي قبل “.
التحديات الفريدة لتوسيع نطاق التطبيقات وأعباء العمل
هناك مراحل متعددة في بناء تطبيق التعلم الآلي، من وضع العلامات والمعالجة المسبقة للبيانات، إلى التدريب، وضبط المعلمات الفائقة، وتقديم الخدمات، والتعلم المعزز وما إلى ذلك – وكل مرحلة من هذه المراحل تحتاج إلى التوسع.
عادةً ما تتطلب كل خطوة نظامًا موزعًا مختلفًا.
من أجل بناء خطوط أو تطبيقات تعلم الآلة من البداية إلى النهاية، من الضروري الآن ربط هذه الأنظمة معًا، ولكن أيضًا لإدارة كل منها.
ويتطلب أيضًا تطويرًا مقابل مجموعة متنوعة من واجهات برمجة التطبيقات. كل هذا يضيف قدراً هائلاً من التعقيد لمشروع الذكاء الاصطناعي / التعلم الآلي.
قال Stoica إن مهمة مشروع Ray Distributed Computing وAnyscale مفتوح المصدر هو جعل توسيع أعباء عمل الحوسبة الموزعة أسهل.
قال: “مع Ray، حاولنا توفير إطار عمل حسابي يمكنك من خلاله بناء هذه التطبيقات من طرف إلى طرف”. “يوفر W Anyscale أساسًا Ray مستضافًا ومُدارًا، وبالطبع ميزات وأدوات أمان لتسهيل تطوير هذه التطبيقات ونشرها وإدارتها.”
هجين الحالة وعديم الحالة الحساب
أطلقت الشركة مؤخرًا منتجًا بدون خادم، والذي يستبعد الوظائف المطلوبة، مما يلغي الحاجة إلى القلق بشأن مكان تشغيل هذه الوظائف، ويخفف العبء عن المطورين والمبرمجين أثناء توسعهم.
ولكن مع وجود بنية تحتية شفافة، تكون الوظائف محدودة في وظائفها – فهي تقوم بعمليات حسابية، وتعيد كتابة البيانات مرة أخرى على S3، على سبيل المثال، ثم تختفي – لكن العديد من التطبيقات تتطلب مشغلين يتمتعون بالحالة.
على سبيل المثال، سيصبح التدريب، الذي يأخذ قدرًا كبيرًا من البيانات، مكلفًا للغاية إذا تمت إعادة كتابتها إلى S3 بعد كل تكرار، أو حتى نقلها للتو من ذاكرة وحدة معالجة الرسومات إلى ذاكرة الجهاز، بسبب الحمل الزائد للحصول على البيانات الموجودة في، ومن ثم أيضًا ترتيبها بشكل متسلسل وإلغاء تسلسل تلك البيانات.
يقول: “راي، منذ اليوم الأول، تم بناؤه أيضًا حول هذا النوع من المشغلين الذين يمكنهم الحفاظ على الدولة ويمكنهم تحديث الحالة باستمرار، وهو ما نطلق عليه في لغة هندسة البرمجيات” الجهات الفاعلة “.
“لقد دعم Ray دائمًا هذا الوضع المزدوج لهذا النوع من الحسابات عديمة الحالة وذات الحالة.”
ما هو دور تنفيذ الذكاء الاصطناعي؟
قال ستويكا إن هناك إغراء للقول إن تطبيق الذكاء الاصطناعي قد وصل أخيرًا إلى مرحلة المشي، وتم دفعه للأمام في رحلة تحول الذكاء الاصطناعي من خلال التسارع الأخير في النمو الرقمي – لكننا رأينا للتو قمة جبل الجليد.
لا تزال هناك فجوة في حجم السوق الحالي، مقارنة بالفرصة – على غرار حالة البيانات الضخمة منذ حوالي 10 سنوات.
قال: “إنها تستغرق وقتًا لأن الوقت [المطلوب] ليس فقط لتطوير الأدوات”. “إنه تدريب الناس. خبراء التدريب. هذا يستغرق وقتًا أطول.
إذا نظرت إلى البيانات الضخمة وما حدث، فمنذ ثماني سنوات بدأت العديد من الجامعات في تقديم درجات علمية في علم البيانات.
وبالطبع هناك الكثير من الدورات التدريبية الآن، دورات الذكاء الاصطناعي، لكنني أعتقد أنك سترى المزيد والمزيد من دورات الذكاء الاصطناعي والبيانات التطبيقية، والتي لا يوجد الكثير منها اليوم “.
المصدر: venturebeat
قد يهمك:
