يتضاعف وقت تعطل البيانات تقريبًا حيث يكافح المحترفون مع مشكلات الجودة
البيانات مهمة لكل عمل تجاري، ولكن عندما ينمو حجم المعلومات وتعقيد خطوط الأنابيب، لا بد أن تنكسر الأمور!
وفقًا لمسح جديد شمل 200 متخصص في البيانات يعملون في الولايات المتحدة، فإن حالات تعطل البيانات – الفترات التي تظل فيها بيانات المؤسسة مفقودة أو غير دقيقة أو يتعذر الوصول إليها – قد تضاعفت تقريبًا عامًا بعد عام، نظرًا للزيادة في عدد حوادث الجودة ووقت مكافحة الحرائق التي اتخذتها الفرق.
يسلط الاستطلاع، الذي أجرته شركة مراقبة البيانات مونتي كارلو وأجرته ويك فيلد ريسيرش في مارس 2023، الضوء على فجوة حرجة يجب معالجتها حيث تتسابق المنظمات لسحب أكبر عدد ممكن من أصول البيانات لبناء تطبيقات الذكاء الاصطناعي والتحليلات للأعمال التجارية. – الوظائف الحرجة واتخاذ القرار.
“المزيد من البيانات بالإضافة إلى المزيد من التعقيد يعني المزيد من الفرص لكسر البيانات. يتم أيضًا اكتشاف نسبة أعلى من حوادث البيانات حيث أصبحت البيانات أكثر جزءًا لا يتجزأ من العمليات المدرة للدخل للمؤسسات.
هذا يعني أن مستخدمي الأعمال ومستهلكي البيانات هم أكثر عرضة للإصابة بالحوادث التي تفوتها فرق البيانات، “قال ليور غافيش، الشريك المؤسس والمدير التنفيذي للتكنولوجيا في مونت كارلو، لموقع VentureBeat.
محركات تعطل البيانات
في الأساس، يعزو الاستطلاع ارتفاع وقت تعطل البيانات إلى ثلاثة عوامل رئيسية: عدد متزايد من الحوادث، واستغلال المزيد من الوقت لاكتشافها، واستغلال المزيد من الوقت لحل المشكلات.
من بين 200 شخص أجابوا على الاستطلاع، قال 51٪ إنهم يشهدون في مكان ما بين حادث بيانات واحد و20 حادثًا في الشهر العادي؛ أبلغ 20٪ عن 20 إلى 99 حادثة؛ وقال 27٪ إنهم يرون ما لا يقل عن 100 حادث بيانات كل شهر.
هذا أعلى باستمرار من أرقام العام الماضي، حيث ارتفع متوسط عدد الحوادث الشهرية التي شهدتها منظمة إلى 67 هذا العام من 59 في عام 2022.
مع استمرار زيادة حالات البيانات السيئة، تستغرق الفرق أيضًا مزيدًا من الوقت للعثور على المشكلات وإصلاحها.
في العام الماضي، قال 62٪ من المستجيبين إنهم عادة ما يستغرقون أربع ساعات أو أكثر في المتوسط للكشف عن حادثة البيانات، بينما ارتفعت هذه النسبة هذا العام إلى 68٪.
وبالمثل، لحل الحوادث بعد الاكتشاف، قال 63٪ أنها تستغرق عادةً أربع ساعات أو أكثر – ارتفاعًا من 47٪ العام الماضي. هنا، انتقل متوسط الوقت اللازم لحل حادث بيانات من تسع ساعات إلى 15 ساعة سنويًا.
النهج اليدوي هو المسؤول، وليس المهندسين
في حين أنه من السهل جدًا إلقاء اللوم على مهندسي البيانات لفشلهم في ضمان الجودة واستغراق الكثير من الوقت لإصلاح الأشياء، فمن المهم أن نفهم أن المشكلة ليست في الموهبة بل المهمة المطروحة.
كما لاحظ جافيش، لا يتعامل المهندسون مع كميات كبيرة من البيانات سريعة الحركة فحسب، بل يتعاملون أيضًا مع طرق التغيير المستمر لكيفية انبعاثها من المصادر واستهلاكها من قبل المؤسسة – والتي لا يمكن السيطرة عليها دائمًا.
“الخطأ الأكثر شيوعًا الذي ترتكبه الفرق في هذا الصدد هو الاعتماد حصريًا على اختبارات البيانات اليدوية الثابتة.
إنها الأداة الخاطئة للوظيفة. هذا النوع من النهج يتطلب من فريقك أن يتوقع ويكتب اختبارًا لجميع الطرق التي يمكن أن تسوء بها البيانات في كل مجموعة بيانات، الأمر الذي يستغرق الكثير من الوقت ولا يساعد في حل المشكلة، “أوضح.
بدلاً من هذه الاختبارات، قال كبير التكنولوجيا، يجب على الفرق النظر في أتمتة جودة البيانات من خلال نشر شاشات التعلم الآلي لاكتشاف مشكلات حداثة البيانات وحجمها ومخططها وتوزيعها أينما حدثت في خط الأنابيب.
يمكن أن يمنح هذا محللي بيانات المؤسسة نظرة شاملة لموثوقية البيانات لحالات استخدام منتجات الأعمال والبيانات الهامة في الوقت الفعلي تقريبًا.
بالإضافة إلى ذلك، عندما يحدث خطأ ما، يمكن للمراقبين إرسال تنبيهات، مما يسمح للفرق بمعالجة المشكلة بسرعة، وقبل أن تترك تأثيرًا كبيرًا على الأعمال.
يبقى التمسك بالأساسيات مهمًا
بالإضافة إلى الشاشات التي تعتمد على ML، يجب أن تلتزم الفرق بأساسيات معينة لتجنب تعطل البيانات، بدءًا من التركيز وتحديد الأولويات.
تتبع البيانات بشكل عام مبدأ باريتو: 20٪ من مجموعات البيانات توفر 80٪ من قيمة الأعمال و20٪ من مجموعات البيانات هذه (وليست بالضرورة نفس تلك) تسبب 80٪ من مشكلات جودة البيانات الخاصة بك.
تأكد من أنه يمكنك تحديد مجموعات البيانات ذات القيمة العالية والمشاكل وأن تكون على دراية عندما تتغير بمرور الوقت، “قال جافيش.
علاوة على ذلك، يمكن أن تكون التكتيكات مثل إنشاء اتفاقيات مستوى الخدمة (اتفاقيات مستوى الخدمة)، وإنشاء خطوط واضحة للملكية، وكتابة الوثائق، وإجراء عمليات ما بعد الوفاة مفيدة أيضًا.
حاليًا، يلعب كل من Monte Carlo و Bigeye دور لاعبين رئيسيين في مساحة مراقبة البيانات سريعة النضج التي تعتمد على الذكاء الاصطناعي. اللاعبون الآخرون في هذه الفئة هم مجموعة من المبتدئين مثل Databand و Datafold و Validio و Soda و Acceldata .
ومع ذلك، من الضروري ملاحظة أن الفرق لا تحتاج بالضرورة إلى استخدام حل مراقبة تعلم الآلة المطور من طرف ثالث لضمان الجودة وتقليل وقت تعطل البيانات.
يمكنهم أيضًا اختيار البناء في المنزل إذا كان لديهم الوقت والموارد المطلوبة. وفقًا لمسح Monte Carlo-Wakefield، يستغرق الأمر ما متوسطه 112 ساعة (حوالي أسبوعين) لتطوير مثل هذه الأداة داخل الشركة.
في حين أن سوق أدوات مراقبة البيانات المحددة لا يزال يتطور، تشير أبحاث Future Market Insights إلى أنه من المتوقع أن ينمو سوق منصة المراقبة الأوسع من 2.17 مليار دولار في عام 2022 إلى 5.55 مليار دولار بحلول عام 2032، بمعدل نمو سنوي مركب يبلغ 8.2٪.
المصدر: venturebeat
إقراء ايضا:
