كيف تجري اختبار A/B tests بطريقة صحيحة

تقدّم اختبارات A/B معلومات إحصائية عن مدى فاعلية بعض الإجراءات التي تتخذها الشركات الناشئة، ولكن يفترض أن لا يقتصر الأمر على ذلك، إذ يجب أن يكون لهذه الاختبارات تأثير على الآلية التي يتبعها فريق العمل في تحديد الأولويات الخاصة بكل مشروع.

وتستخدم فرق العمل في أغلب الأحيان هذه الاختبارات للتأكد من مدى جودة الفكرة التي يقدمون على تنفيذها، فيقومون ببعض التعديلات الطفيفة على أمل أن يقود ذلك إلى تحقيق مكاسب كبيرة.

ولكن قد تكون هذه الاختبارات سببًا في تقليل الإنتاجية، فالنتائج التي يتم الحصول عليها من تغييرات عشوائية (ليست ذات دلالة إحصائية على سبيل المثال) قد تؤدي إلى استنتاجات خاطئة، وحتى النتائج الجيدة غير مضمونة في هذا الجانب وذلك عندما يكون متغير الأرباح موجهًاً إلى جمهور الشركة برمّته.

إن طرح الأسئلة الصحيحة والمناسبة قبل البدء بإجراء الاختبار سيساعد في التعرف على طبيعة التغييرات التي تستحق بذل الوقت والجهد والتي يمكن أن يتبلور عنها استنتاجات تعود بالنفع على المشروع / الشّركة النّاشئة.

تأثير الإحصائيات

هناك الكثير من المقالات التي تبيّن جملة من الأخطاء الشائعة في إجراء اختبارات A/B، وأكثر هذه الأخطاء شيوعًا هو المطالبة بالنتائج في وقت مبكر جدًّا وبالاستناد إلى الدلالة الإحصائية، ففي بعض الأحيان تكون هذه الدلالة نتيجة لوجود تأثير حقيقي، ولكن في أحيان أخرى تكون هذه الدلالة مُجرّد “فوضى” لا تحمل أيّة دلالة إحصائية، وبطبيعة الحال فإن العينة العشوائية لا تمثّل المجموع بأي شكل من الأشكال.

لن تكون الدلالة الإحصائية statistical significance كافية في هذه الحالة للتمييز بين التأثير الحقيقي وبين التشويش، وهنا تظهر الحاجة إلى ما يسمى بالقوة الإحصائية Statistical power، وكلما كان مقدار القوة الإحصائية أكبر زادت نسبة اليقين في أن النشاط الذي تراه حقيقي وواقعي.

وللحصول على القوة الإحصائية الكافية ولإجراء الاختبار بشكل صحيح عليك أن تطرح على نفسك الأسئلة التالية:

• ما هو مقدار الارتفاع الذي سيتحقق في مؤشر الأداء القياسي حسب رأيك؟

• لو أخذت التأثير المطلوب بعين الاعتبار، فما هي الفترة الزمنية اللازمة لإجراء الاختبار لتحصل على نتائج دقيقة؟

• هل يستحق الأمر الانتظار؟

1- ما هو مقدار الارتفاع الذي سيتحقق في مؤشر الأداء القياسي حسب رأيك؟

لنفترض بأنّك ترغب في زيادة نسبة التسجيل في موقعك الإلكتروني، ولديك قائمة من الأفكار التي تعتقد بأنّها ستساعدك في تحقيق هذا الهدف، وتحاول معرفة الفكرة التي ترى بأنها مناسبة في هذا الصدد.

إلى جانب ذلك، فإن واجهة موقعك الإلكتروني غير مقنعة من وجهة نظرك، ولكن تستغرق عملية إعادة التصميم والتطوير شهرًا كاملًا.

من جهة أخرى، يمكنك أن تجرب مجموعة مختلفة من الألوان، ولن يستغرق ذلك وقتًا طويلًا. هنا سيفترض فريقك بأنه يمكن لعملية إعادة التصميم الكاملة أن ترفع نسب التحويل بمقدار 10% إلى 15%، في حين أن تغيير الألوان سيرفع نسبة التحويل بمقدار 10% إلى 11%.

2- لو أخذت التأثير المطلوب بعين الاعتبار، فما هي الفترة الزمنية اللازمة لإجراء الاختبار لكي تحصل على نتائج دقيقة؟

استخدم هذه الحاسبة لحساب حجم العينة وذلك بإدخال إجابتك على هذا السؤال. تجري هذه الحاسبة عددًا من العمليات الرياضية الإحصائية خلف الكواليس؛ ولكن من الناحية المنطقية فإنّ ملاحظة التأثيرات الطفيفة يستغرق وقتًا طويلًا، في حين أن التأثيرات الكبيرة تكون واضحة في وقت مبكر، وهذا يعني أمرًا مهمًّا للغاية: الكشف عن التغييرات الطفيفة أمر مكلف. في مثالنا السابق، يتطلب تغيير الألوان يومين فقط، ولكننا سنحتاج إلى 24 ضعف من البيانات لتجربة نسبة 1% مقابل 5% من النشاط الكامل.

3- هل يستحق الأمر الانتظار؟

عندما يكون حجم العينة معروفًا، يجب عليك التفكير في المدة الزمنية التي يحتاجها الاختبار لتحقيق نتائج يمكن الاعتماد عليها. لنفترض مثلًا بأن تدفق عملية التسجيل في الموقع هو 600 زيارة في اليوم. ستستغرق عملية إعادة التصميم الكاملة يومين لجمع المعلومات الكافية، في حين تتطلب عملية تغيير الألوان البسيطة وقتًا أطول بكثير. وهذا يعني أن المشروع الكبير (إعادة تصميم واجهة الموقع) سيستغرق 32 يومًا للتطوير والاختبار، في حين أن المشروع الأصغر (تغيير ألوان واجهة الموقع) سيستغرق 49 يومًا. ومع أن كلا المشروعين يأخذان وقتًا طويلًا غير أن المشروع الأول ينطوي على احتمالات أكبر.

ركز على المشاريع التي تكون فيها فرص النجاح أكبر

فكّرنا في Intercom بإمكانية أن يكون تدفق التسجيل في موقعنا أفضل مما هو عليه الآن، ولم تكن صفحة التسجيل السابقة (في الصورة أدناه) مرتبة ومنظمة بشكل جيد، إضافة إلى أن طرق الدمج integration لم تكن مرتبة بالشكل الذي يلائم المستخدمين الجدد. وبما أن تدفّق التسجيل لدينا لا يصل إلى مئات الآلاف من الزائرين، فقد أدركنا أن علينا اختبار شيء كنا نعتقد بأنّه سيحقق نتيجة أفضل.

كنا نرغب في رفع نسبة التحويل لعملية التسجيل إلى 10%، وبعد أن حصلنا على البيانات الكافية، بدأنا بمقارنة النتائج ما بين التصميم القديم والحديث، ولكن النتيجة كانت مخيبة للآمال، فقد كان الفارق ضئيلًا جدًّا ولم يكن يحمل أي دلالة إحصائية. لقد كان الاختبار عديم الفائدة، ومع ذلك قررنا اعتماد التصميم الجديد، لأن تجربة المستخدم في التسجيل كانت أكثر بساطة، كما أنّها قابلة للتطوير والتحسين مستقبلًا.

كيف ينطبق هذا الأسلوب على الشركات الناشئة

لا تقدّم مشاريع التحسين والتطوير الصغيرة فائدة تذكر للشركات الناشئة، إذ تأخذ الاختبارات وقتًا طويلًا وتكون سببًا في صرف الانتباه عن المشاريع المجدية بالنسبة للشركة. ومن الممكن أن تشهد الشركة ارتفاعًا طفيفًا، ولكن هذا الارتفاع يتجّه نحو قمة محلية Local Maximum، أما الوصول إلى القمة الإجمالية Global Maximum فعلى الشركات الناشئة أن تقوم بتغييرات كبيرة.

أما الشركات الكبيرة فقد عملت ولفترات طويلة على تحسين مستويات التدفق لديها والتعرف على عملائها بشكل أفضل؛ لذا فإن التحسينات الصغيرة والطفيفة تكون ملائمة بشكل أكبر لهذه الشركات، إذ أنّها تمتلك تدفّقًا كبيرًا من الزوّار يتيح لها الحصول على نتائج الاختبارات التي تجريها في وقت قصير، إلى جانب أن تحسينًا بنسبة 1% سيكون ذا تأثير أكبر عندما يصل عدد الزوّار إلى مئات الآلاف في اليوم الواحد.

خلاصة القول: إن أجريت عددًا من الاختبارات الكبيرة، وإن استطعت أن تتفهم طبيعة عملائك بصورة جيدة، وإن تمكّنت من الحصول على تدفّق كبير من الزوّار، فسيكون بمقدورك حينها العمل على تحسينات بسيطة في شركتك الناشئة. ومن الضروري أن تدرك بأنّك لن تحصل دائمًا على النتائج التي تريدها من أي اختبار A/B تقوم بإجراء، والمهمّ هنا هو تحديد الهدف من التحسين الذي تعمل عليه ومعرفة الفترة اللازمة لإجراء الاختبار وللحصول على النتائج الصحيحة، وإلا فإنك ستخاطر باستهلاك الكثير من الموارد لتصل في نهاية المطاف إلى عائد استثمار ROI سلبي.

ترجمة - وبتصرّف - للمقال A/B tests that do more than validate لصاحبه Scott Kamino.