لماذا تحتاج إلى نموذج تجريبي
لقد أمضيت ما يقرب من نصف عملي في مجال البيانات في العمل في Block ، بدءًا من IC، وأدير الأشخاص لبعض الوقت والآن بصفتي قائدًا تقنيًا في DS. لقد شاركت أيضًا في فرق متعددة هنا: تمكين المطورين، والتجارة الإلكترونية، وتحليلات المبيعات، ومؤخراً – في Trusted Identity ضمن منصة الدفع. ركز معظم وقتي هنا على علم بيانات المنتج.
نجري الكثير من اختبارات A / B في Block نظرًا لأنها واحدة من أكثر الطرق التي تعتمد على البيانات لإظهار تأثير ميزة منتج جديد. تستخدم العديد من فرق علوم البيانات نموذج اختبار A / B مطورًا داخليًا ووجدت أنه مفيد بشكل لا يصدق للتأكد من أن أصحاب المصلحة قد فكروا في أسئلة العمل الصحيحة قبل طلب إطلاق شيء ما. ينشئ النموذج أيضًا تناسقًا عبر الفرق، مما يجعل من السهل رؤية وفهم الاختبارات التي أجرتها الفرق الأخرى. سأخوض في أسباب أخرى لماذا نحب استخدام النموذج ولكنه يوفر أيضًا التوجيه الصحيح لعلماء البيانات الأقل خبرة. يطرح أسئلة مهمة لكل من أصحاب المصلحة وعلماء البيانات لضمان التفكير في التفاصيل الأساسية قبل إعداد الاختبار وإطلاقه.
أشارك إصدارًا عامًا من النموذج الذي أنشأته دوغ لوجو، ومرحبًا بك لعمل نسخة وتعديلها حسب الضرورة لحالات الاستخدام الخاصة بك! ليست هناك حاجة لإعادة اختراع العجلة هنا. بعض أجزاء النموذج تشرح نفسها بنفسها. سأصف قسمين من أكثر الأقسام فائدة في النموذج أدناه حتى لا تضطر إلى التعلم بالطريقة الصعبة.
قسم نظرة عامة
ترجم فرضيتك إلى مشكلة عمل: شيء واحد يستحق أن نذكره هنا هو بيان المشكلة. أجد أننا غالبًا ما نركز على الفرضية، على سبيل المثال، أن إزالة حقل سيساعد المستخدمين على متابعة عملية التسجيل بشكل أسرع. ومع ذلك،لا نفكر كثيرًا في المشكلة الفعلية التي نحلها. تأكد من ترجمة الفرضية إلى مشكلة تجارية. على سبيل المثال،تكون الفرضية هي أن معدل التحويل سيزداد إذا قمت بإزالة الحقول المراد إكمالها أثناء عملية التسجيل. مشكلة العمل التي تحلها هنا هي إزالة الاحتكاك للمستخدمين الجدد.
اتفق على معايير الإطلاق مسبقًا: غالبًا ما نقول “سننطلق إذا كان هناك رفع بمقدار 1pp في مقياس رئيسي”. ومع ذلك، فإن اختبار A / B الذي ينتج عنه نتائج محايدة، قد يكون لدى البعض تحيز للإطلاق ويمكن أن يؤدي ذلك إلى تضارب بين علماء البيانات وأصحاب المصلحة. في كثير من الأحيان، في أدوارنا، لا نريد طرح شيء ما لأننا لا نرى تأثيرًا إيجابيًا. على الرغم من أن نتائج اختبار A / B لم تؤد إلى رفع إيجابي لأي مقاييس، فقد لا يزال رئيس الوزراء يرغب في زيادة التجربة إلى 100٪. قد يكون هذا لأنهم رأوا نتائج بحث تجربة المستخدم تظهر ردود فعل إيجابية. إن الاتفاق على معايير الإطلاق مسبقًا بين جميع أصحاب المصلحة المعنيين يعني أيضًا أنه يمكنك تجنب الارتباك والمناقشة أو التعارض الذي يحتمل أن يكون طويلاً في نهاية الاختبار، ومحاولة تحديد ما إذا كان ينبغي طرحه أم لا.
قسم الدروس – أبقي فضوليًا
قم بتدوين أي تحليلات متابعة مثيرة للاهتمام أو اختبارات A / B للتشغيل بعد انتهاء تجربتك
لا يقتصر إجراء اختبار A / B على طرح تجربة وإظهار تحسن إيجابي لمقياسنا الأساسي. بمجرد تحديد المقاييس الأولية والثانوية، لا نريد فقط اختبار ما إذا كانت تتحرك ولكن أيضًا السبب. من الجدير ذكر أي تحليلات أو معلومات قد نرغب في أخذها من اختبار، على سبيل المثال أثناء اختبار تدفق على متن الطائرة. نريد أن نعرف أين يسقط المستخدمون أو ما هي نقاط الاحتكاك التي أزلناها لهم. يساعد هذا في الوصول إلى _لماذا _ سلوك المستخدم،لذي يمكن أن يلهم التحسينات المستقبلية أو إعلام عملية صنع القرار.
على سبيل المثال، تخيل أنك ترى زيادة في النسبة المئوية للمستخدمين الذين أكملوا الإعداد وأخذوا دفعة. ماذا يمكنك أن تتعلم منه أيضًا؟ الشيء الوحيد الذي يجب الإشارة إليه هو معرفة الخطوات التي يسقطها المستخدمون على الأكثر، أو بشكل عكسي – لتسليط الضوء على أي احتكاك ربما تم تقديمه عن غير قصد. احتفظ بها في 1-2 شيئين تريد النظر إليهما وكالعادة، فكر فيما يمكن أن يحقق أكبر تأثير على أصحاب المصلحة.
المصدر: developer
قد يهمك:
