مقاييس النجاح لتحليلات المنتج
لماذا نستخدم مقاييس النجاح الأساسية لإطلاق المنتجات؟ سببان: (1) التوافق مع أهداف الشركة الأوسع (أي التأكد من أننا لا نجتذب في اتجاهات مختلفة)، و (2) لتحديد تأثير تغيير المنتج بالنسبة لما توقعنا حدوثه. نريد اختبار فرضية سلوك العميل التي طرحناها، لنرى كيف تلتقي النظرية مع الممارسة في البرية. يريد أصحاب المصلحة أيضًا بشكل عام معايير القرار المتفق عليها مسبقًا لتحديد ما إذا كنا سنقوم بتغيير المنتج أم لا. السبب وراء بحثنا في المقاييس الثانوية هو الحصول على صورة أكمل لما حدث وللمساعدة في الحماية من تحريك مقياس على حساب آخر (على سبيل المثال، زيادة معدل التحويل عن طريق تقليل عدد السكان لدينا). نريد قصة أكثر اكتمالاً للتعرف على تأثير ما فعلناه،
واحدة من أهم النقاط التي يجب توضيحها هنا هي تحديد التوقعات مسبقًا. لا نريد الاعتماد فقط على تحديث المنتج الرائع والرائع لزيادة الإيرادات، بل نريد أن يكون لدينا خطة بغض النظر عن النتيجة. إذا كانت النتائج سلبية للغاية، فعادة ما نسمي التجربة مبكرًا لتقليل الضرر؛ كنا مخطئين ونريد التعلم بسرعة. إذا كانوا إيجابيين للغاية، فسيكون الجميع سعداء ونشاركها ونبدو جيدًا على كل المستويات. ومع ذلك، غالبًا ما نكون في منطقة ضبابية كبيرة من النتائج المحايدة؛ لا نلاحظ فرقًا ذا دلالة إحصائية بين مجموعات العلاج ومجموعة المراقبة، لذا فإن مقاييس النجاح لا تخبرنا بما يجب القيام به. النتائج المحايدة ليست سوى مشكلة إذا لم تكن هناك خطة لما يجب القيام به بعد ذلك.
عندما تكون نتائج التجربة محايدة، فإن بعض الأخطاء الشائعة هي (1) تشغيل التجربة لفترة أطول وانتظار وصول “الأهمية الإحصائية”، (2) للبحث في مكان آخر عن النتائج عن طريق التعمق في شرائح مختلفة أو مقاييس ثانوية حتى نجد واحدة وصلت إلى دلالة إحصائية، أو (3) أي أشكال أخرى من القرصنة الإلكترونية (مثل إعادة إجراء التجربة). كل هذه الأساليب تضع ضغطًا على المقاييس لاتخاذ القرار. مقاييس النجاح ليست بديلاً عن الإستراتيجية، فهي طريقة لتأكيد ما إذا تم تنفيذ الإستراتيجية بنجاح. نتعرف أيضًا على مدى ثقتنا في هذه النتائج، والتي سنصل إليها لاحقًا.
لسوء الحظ، غالبًا ما يُنظر إلى اختبار A / B على أنه مجرد بوابة لإطلاق المنتج. هذا هو المكان الذي يأتي فيه إعداد التوقع من علماء البيانات: نريد توصيل النتائج المحتملة المختلفة والمواءمة مع معايير اتخاذ القرار قبل بدء التجربة لتجنب اتخاذ القرار المتحيز. في بعض الأحيان، ما زلنا نطلق للحصول على نتائج محايدة نظرًا لاعتبارات أخرى مثل إلغاء حظر إطلاق منتج في المستقبل أو إجراء تغيير مطلوب على الواجهة الخلفية – هناك تكلفة على عمل المنتج هنا، ويجب أخذها في الاعتبار. لكن من المهم تقديم مقدمة لأصحاب المصلحة بأن النتائج المحايدة هي في حد ذاتها إجابة عادلة من المقاييس. هذا يعني فقط أن المقاييس لا تشير بوضوح إلى قرار أو آخر؛ تخبرنا القيمة p باحتمالية رؤية الفرق الملحوظ بين مجموعات الاختبار والمجموعة الضابطة إذا كان التأثير الحقيقي صفرًا. هذا كل شيء. لسوء الحظ، يمكن في كثير من الأحيان توسيع المقاييس والأهمية الإحصائية في محاولة للتغلب على فجوات استراتيجية المنتج والتحديات التنظيمية.
وللتراجع، فإن علماء بيانات المنتج ليسوا موجودين فقط لإبلاغ اتخاذ القرارات بالبيانات، ولكن أيضًا لتحديد المخاطر. يمكن لفريق المنتج أن يوظف مهندسًا آخر بدلاً من عالم بيانات المنتج إذا كانوا يرغبون في بناء المزيد من الأشياء، لكنهم قد يفقدون بعض الأفكار المتعمقة حول المنتج التي يمكن لعلماء البيانات توفيرها، وربما يخاطرون بإضعاف فهمهم لسلوك العميل / تأثير عملهم مع مرور الوقت. غالبًا ما يحتاج مديرو المنتجات (PMs) إلى موازنة المخاطر والمكافأة في قراراتهم – يريد علماء البيانات التأكد من أنهم لا يطيرون عمياء. يمكن القول إن أهم النتائج التي يجب فهمها في التجربة هي “نعم مؤكد” و “لا نهائي” لأن هذه هي التي تحرك مقاييسنا حقًا. ومع ذلك، نريد أيضًا تجنب إطلاق التصميم غير الفعال في الإنتاج.
يتم تكليف علماء بيانات المنتج (على الأقل عند تضمينهم في فرق المنتج مثل Square ) بإضافة قيمة إلى مساحة المنتج بالبيانات. يمكن أن تمنحنا المقاييس بعض الحياد للنظر على نطاق أوسع في التأثير على العميل العادي وتأكيد ما إذا كانت النتيجة المرصودة تتوافق مع توقعاتنا. يجب أن نكون صادقين من أجل تحقيق النجاح على المدى الطويل، والذي يمكن أن يأتي غالبًا من حقائق صعبة قصيرة المدى حول النتائج المتواضعة.
السؤال الأساسي بعد التجربة من صاحب المصلحة هو: “هل ارتفعت أم انخفضت؟” يمكن أن يساعدنا هذا في تزويدنا برؤية ثاقبة، ولكنه لا يخبرنا عن مدى ثقتنا في هذه النتائج، أي مدى خطورة المخاطرة التي نتخذها من خلال طرح التغيير على جميع المستخدمين. ربما انخفض المقياس المختار لمجموعة العلاج العشوائية، ولكن بكمية صغيرة نعتقد أنها كانت مجرد ضوضاء إحصائية، والعكس صحيح إذا ارتفعت. إذن ما نريد معرفته حقًا هو: “ما مدى ثقتنا في أن هذه النتائج ناتجة عن التغييرات التي أجريناها؟”
غالبًا ما يستخدم علماء البيانات اختبارات مربع كاي أو اختبارات Z للتحويل، واختبارات t لتحديد الاختلافات بين المجموعات للمتغيرات المستمرة مثل الإيرادات، بافتراض توزيع شبه طبيعي. لقد كتب الكثير عنهم من العديد من المجالات، لذلك لن أخوض في الكثير من التفاصيل هنا. في حالة انتهاك افتراض التوزيع الطبيعي، يمكن أن يساعد اختبار التقليب عن طريق أخذ عينات عشوائيًا بين المجموعات لمعرفة الاختلافات في النتائج مع القيم المتطرفة أو بدونها. لكن مشكلتنا الجذرية هي أنه عندما لا تكشف الإحصائيات حلاً واضحًا، فهذا هو إجابتنا. تحدد قيم P احتمالية ملاحظة نتيجة ما أو أكثر تطرفًا من تلك التي فعلناها إذا كان التأثير الحقيقي للاختبار هو صفر. بمعنى آخر، لا توجد أدلة كافية في البيانات لرفض فرضية العدم، لذا فإن ما يعنيه هذا بالنسبة لأصحاب المصلحة غير التقنيين هو أن جميع تقنياتنا الإحصائية وتحليلنا تخبرنا بأننا “لا نعرف”. وحتى لو كنا نعلم، وضربنا هذا المستوى <0.05 p-value ، فإن ضبط مستوى ثقتنا عند 95٪ يعني أننا على استعداد لتسمية التجربة بالفوز (أو الخسارة) عندما تكون محايدة حقًا 1 من كل 20 مرة. يمكن أن يكون لدينا حد أعلى، مثل 1 من 100 (قيمة p <0.01)، ولكن بعد ذلك سنكون “محايدين” كثيرًا أو سنضطر إلى إجراء تجاربنا لفترة أطول (وهو أمر مكلف).
القيمة الحقيقية لاختبارات أ / ب لإطلاق المنتجات هي إجراء فحص مقابل حدسنا – إنه نتذكر أن لدينا فرضية نختبرها، وليست يقينًا للكشف عنها. إذا لم يكن لدى فريق المنتج عالم بيانات أو محلل، فربما يعتمدون بشكل أساسي على قرارات المنتج بناءً على فهمهم للعملاء ومساحات المنتج، وهو ما لا يتسع نطاقه جيدًا ويمكن أن يؤدي إلى الكثير من العمل الذي لا يحرك الإبرة بمرور الوقت. من المؤكد أنه يجب أن يكون هناك توازن بين حدس المنتج والتعاطف مع العملاء والتحليل الكمي لتحسين تجارب العملاء.
التحليلات واختبار A / B هو تحوط ضد المخاطر؛ إنه يقوي عملية صنع القرار لدينا ويخلق درعًا ضد العشوائية وبيئة للتعلم الأعمق. إلى جانب القيمة الواضحة لإعطائنا نعم قوية ورفض قوية، يخبرنا التجريب أيضًا عندما لا نعرف. إنه يخبرنا عن المفاضلات واحتمال أن تكون نتائجنا عشوائية، أي كم لا نعرف. لكن مقاييس النجاح لا تحل محل التحديات الاستراتيجية أو التنظيمية، بل إنها تعزز الثقة في قراراتنا وتعطينا إحساسًا بتأثير عملنا. إن معرفة الحدود تجعل توصيل التوقعات أكثر وضوحًا وتجنب الأشخاص التخلص من النتائج بالكامل، أو إجراء تجربة لفترة أطول وأطول على أمل الوصول إلى هدف ما من شأنه تجنب مغالطة التكلفة الغارقة. أحيانًا يكون كل ما يمكننا فعله هو توفير الوقت،
من المجالات المهمة التي غالبًا ما يتم تجاهلها، لا سيما في سياق استشارة فرق المنتج وإنشاء مقاييس النجاح، التواصل الفعال. يتضمن ذلك مهارات ناعمة مهمة مثل إقامة علاقة ولغة مشتركة مع أصحاب المصلحة، وإعطاء ملاحظات صادقة مع السلامة النفسية، ووضع التوقعات مسبقًا بأن فرضيتنا قد تكون خاطئة تمامًا – أو يمكن القول إنها أسوأ – غير واضحة، من أجل بلورة استراتيجيتنا. خاصةً إذا كان فريق المنتج جديدًا، يحتاج عالم البيانات إلى أن يكون قادرًا على التواصل عندما لا نعرف أن التأثير لم يكن عشوائيًا، وأن يبلغ حدود ما نعرفه، والذي في حين أنه محبط ومحبط في بعض الأحيان، يساعد في منع حدوث ما هو أسوأ النتائج على المدى الطويل. إذا اكتشفنا من خلال العديد من التجارب الإبداعية والذكية أنه لا يمكننا تحريك الإبرة في المساحات التي نريدها،
المصدر: developer
شاهد المزيد:
