كيف قامت شركة DTN بتوسيع نطاق بيانات التنبؤ بالطقس إلى بيتابايت في اليوم
يعد التنبؤ بالطقس أحد أقدم تحديات البيانات. يستكشف علماء البيانات باستمرار كيف يمكن لتقنيات النمذجة الجديدة أو بنيات البيانات الأفضل أن تتيح تنبؤات أكثر دقة وفي الوقت المناسب.
قد يكون المستهلكون مهتمين فقط بمعرفة ما إذا كان عليهم إحضار مظلة أو واقي من الشمس، لكن تنبؤات الطقس الأفضل يمكن أن تساعد الشركات من جميع الأنواع على تحسين العمليات وتقليل تأثير الأحداث الجوية القاسية.
استفادت DTN، أكبر خدمة طقس خاصة، مؤخرًا من خدمات الحوسبة عالية الأداء الجديدة Amazon Web Services (AWS) لتوسيع حجم خط أنابيب التنبؤ بالطقس ودقته وحسن توقيته بشكل كبير.
تُظهر هذه التوقعات المحسّنة بالفعل أرباحًا لخدمات الاستخبارات التشغيلية لشركة DTN للزراعة والشحن والمرافق والصناعات الأخرى.
صرح Renny Vandewege، نائب رئيس DTN لعمليات الطقس، لموقع VentureBeat قائلاً: “إن قدرتنا على الاستفادة من البنية التحتية السحابية والحوسبة العالية القابلة للتطوير تعمل على تحسين قدرتنا على الاستفادة من توقعات الطقس كل يوم”.
قال Vandewege أن بيانات الطقس تدعم حاليًا سوقًا لخدمات الاستخبارات التشغيلية بما يتراوح بين ملياري دولار وثلاثة مليارات دولار، وتنمو بسرعة
ساعدت مجموعة من خدمات AWS الجديدة شركة DTN على زيادة حجم البيانات التي تعالجها من تيرابايت إلى بيتابايت يوميًا؛ زيادة الدقة من 10 كم لأسفل إلى 1 كم “بكسل” أدق؛ وزيادة عدد التوقعات من اثنين في اليوم إلى أربعة في اليوم. تخطط شركة DTN لتقديم تحديثات كل ساعة في المستقبل القريب.
الانتقال إلى السحابة
بدأت DTN في نقل المزيد من بنيتها التحتية للبيانات إلى سحابة AWS للمساعدة في توسيع نطاق عروض البيانات والذكاء التشغيلي.
ومع ذلك، لا تزال تعتمد على حواسيبها العملاقة المُدارة لتشغيل جميع توقعاتها. على مدى السنوات القليلة الماضية، بدأ فريق Vandewege العمل مع Amazon على إثبات المفهوم لتشغيل نماذج عالية الدقة باستخدام مجموعات متوازية.
تستفيد تحسينات DTN الجديدة من مثيلات AWS Hpc6a الجديدة المصممة لأحمال عمل الحوسبة عالية الأداء (HPC).
يتيح ذلك لشركة DTN تجميع كمبيوتر عملاق افتراضي عبر أجهزة افتراضية تعمل على معالجات AMD EPIC من الجيل الثالث. توفر هذه أيضًا نسبة سعر إلى أداء أفضل بنسبة 65٪ من العروض السابقة.
والأهم من ذلك، أن DTN تستخدم خدمة AWS Parallel Cluster لتوفير وإدارة مجموعات HPC الجديدة بشكل ديناميكي.
ساعد هذا DTN على الاستفادة من تقنيات التنبؤ بالمجموعات الجديدة، حيث يتم تجميع نتائج النماذج المتعددة وافتراضات البداية المختلفة قليلاً في توقعات أكثر دقة.
تستفيد توقعات المجموعات من حقيقة أن نماذج التنبؤ بالطقس المختلفة تعمل بشكل أفضل قليلاً في ظروف مختلفة.
بدلاً من محاولة تحسين دقة نموذج واحد لجميع الظروف، يقوم علماء البيانات بتشغيل نماذج متعددة بالتوازي ثم تجميع النتائج في توقع واحد.
تميل نتائج توقعات المجموعة هذه إلى أن تكون أكثر دقة عبر مجموعة من المناطق الجغرافية والمناخات والظروف الجوية.
لكن تشغيل العديد من النماذج يتطلب إيجاد طريقة لتجميع البيانات الأولية من الأقمار الصناعية ومحطات الطقس والرادار، وتشغيل عمليات محاكاة جديدة لتشغيل نماذج مختلفة ثم جلب جميع النتائج في توقعات رسمية واحدة.
كما تسمح البنية الأساسية الجديدة لـ AWS لشركة DTN بتوسيع نطاق عمليات التنبؤ بشكل ديناميكي استجابةً لأحداث الطقس القاسية مثل الأعاصير والأعاصير لمساعدة عملائها على إعطاء الأولوية للعمليات الوقائية والإصلاحية.
قال Vandewege: “لقد عملنا مع Amazon لتشغيل هذه النماذج بسرعة كافية بحيث تكون البيانات مفيدة”.
خلق قيمة جديدة
بدأت DTN كخدمة معلومات مزرعة في الثمانينيات وتم تسليمها عبر الراديو إلى محطات فيديو مخصصة، ومن هنا جاء اسم “شبكة الإرسال الرقمي” الذي تم اختصاره لاحقًا.
كان دائمًا يركز بشدة على الطقس. مرت الشركة بالعديد من التغييرات المهمة على مر السنين مع نمو الإنترنت والمنافسة من خدمات الطقس الأخرى.
ركزت على خدمات الاستخبارات التشغيلية لمختلف الصناعات، مدعومة بقدراتها الأساسية على التنبؤ بالطقس.
على سبيل المثال، طورت الشركة عرضًا للشحن البحري لتحسين التوجيه والسرعات باستخدام التوأم الرقمي لسفن محددة مقترنة ببيانات دقيقة عن الطقس وتيارات المحيطات.
وقال فانديويجي: “يمكن أن يؤدي تحسين كفاءة الوقود بنسبة 5٪ إلى توفير ملايين أو حتى مليارات الدولارات للصناعة على مدار عام”.
طورت DTN أيضًا نماذج صيانة تنبؤية جديدة لمساعدة المرافق في إعطاء الأولوية لاستبدال أو تقوية المعدات التي من المرجح أن تتأثر بموجة الحر أو العاصفة أو غيرها من الأحداث المتعلقة بالطقس.
تستفيد هذه الخدمات الجديدة من إيجاد طرق جديدة لدمج بيانات الطقس الأكثر دقة مع المعلومات الأخرى.
على سبيل المثال، أعاد علماء بيانات DTN بناء أحوال الطقس التي اقترنت بانقطاع التيار الكهربائي أو أنواع معينة من أعطال المعدات خلال العقد الماضي.
قال فانديويجي: ” إن تغير المناخ عامل مهم جدًا بالنسبة لنا”. “تركز شركة DTN على مراقبة كيفية ظهور تغير المناخ في صورة مخاطر الطقس ومساعدة الشركات على الاستعداد لمخاطر الطقس الفردية واتخاذ الإجراءات المناسبة.”
ستزداد أهمية المناهج الجديدة لإنشاء ونمذجة التنبؤات على نطاق واسع مع تزايد عدم اليقين بشأن تغير المناخ والاضطرابات السياسية وصدمات سلسلة التوريد المختلفة.
المصدر: venturebeat
شاهد أيضا:
