البحث في الموقع
المحتوى عن 'اختبار a/b'.
-
أي عنوان سيقدّم معدّل تحويل أعلى في إعلان على موقع ما: "أدوات لاستعراض الشيفرة البرمجيّة" أم "استعراض الشيفرة البرمجية وأدواتها"؟ الأمر محيّر والاختيار والفصل بينهما لا يبدو سهلًا، ولذلك يتمّ دائمًا التقرير عبر الاختبار. حصل البديل "A" على 32 نقرة ("أدوات لاستعراض الشيفرة البرمجيّة") والبديل "B" على 19 نقرة ("استعراض الشيفرة البرمجية وأدواتها")، والسؤال ومربط الفرس: هل هذا يعني أن الأمر محسوم لصالح البديل "A"؟ أم يجب التروّي قليلًا قبل الاختيار؟ أو ربما يجب تجربة عنوان مختلف كليًا؟ ستشكل الإجابة فرقًا كبيرًا على أرض الواقع بلا شكّ، لذلك يجب الاعتماد على معايير واضحة عند الاختيار، فالانتظار طويلًا بين الاختبارات سيكون هدرًا للوقت، وعدم الانتظار بالقدر الكافي سيؤدي إلى عدم الوصول إلى نتائج صحيحة وحاسمة للفصل بين الاختبارين، وبالتالي قد يتمّ اختيار البديل الخاطئ بدلًا من الاختيار الأنسب، والذي قد لا يكون أصلًا من البدائل الحاليّة. عادةً ما تكون الأمثولة treatment التي على شكل إحصائية صعبة الحساب وتشكّل معضلة لدى البعض، ولكن سيتمّ في هذا المقال التسهيل قدر الإمكان، وذلك باستخدام معادلة بسيطة للغاية، والتي من شأنها أن تُحدّد نجاعة اختبار A/B. سيتمّ الشرح بالاستعانة بهمستر اسمه "هَمي": اختار "هَمي" في الفيديو السابق الطعام العضوي (الطبيعي) ثماني مرّات واختار الطعام غير الطبيعي conventional أربع مرّات، يُشبه هذا الاختبار إلى حدّ كبير اختبار A/B. قد يعتقد البعض أن الطعام "العضوي" هو الرابح قطعًا، حيث أن "هَمي" اختاره ضعف عدد مرات اختياره للطعام غير الطبيعي، ولكن هذا التوقّع غير صحيح وبعيد كل البعد عن الدقّة، فالأرقام لها قول مختلف في الأمر. يعود هذا الأمر إلى طبيعة البشر والمعروفة بسوء التخمين والتقدير لهذا النوع من الأمور، فعلى سبيل المثال، يهاب معظم الأشخاص من التعرّض إلى حادث طائرة أكثر مما تخاف من التعرّض إلى حادث سيارة، على الرغم من أن التعرّض إلى حادث السيارة محتمل أكثر بست مرات. يمكن القول إن الطبيعة البشرية لا تحسن الحساب في معظم الأحيان، وعليه كيف يمكن الوصول إلى نتائج حاسمة لا تجعل للشك مجالًا؟ الخطوات هي كالتالي: تمثيل "عدد المحاولات الكلّي" بالرمز N. بالنسبة لـِ "هَمي" سيكون: 8+4 = 12. بالنسبة لمثال الإعلان سيكون: 32+19 = 51. تمثيل "نصف الفرق بين الرابح والخاسر" بالرمز D. بالنسبة لـِ "هَمي" سيكون (8-4) / 2 = 2. بالنسبة للإعلان سيكون (32-19) / 2 = 6.5. نتائج الاختبار الإحصائي ستكون حاسمة (ذو مدلول) إن كان مربّع D أكبر من N. بالنسبة لـِ "هَمي" D**2 هو 4 أصغر من 12، وعليه فإن النتيجة غير حاسمة. بالنسبة للإعلان فإن D**2 هو 42.25 وهذه القيمة أصغر من 51، وعليه فإن النتيجة غير حاسمة أيضًا. يُستنتج مما سبق أن نتيجة الإعلان لم تكن حاسمة، ولكن في حال استمرار الاختبار لفترة من الوقت، سيكون في اليوم التالي هناك 30 نقرة إضافية على البديل "A" لتكون المحصلة 62 و19 نقرة إضافية للبديل "B" لتصبح المحصلة 40، وبإعادة الحساب: N = 62+40 = 102 D = (62-40) / 2 = 11 D**2 = 121 وعليه فإن 121 أكبر من 102، وبالتالي الفرق هو حاسم وذو مدلول. لا يتمّ الحصول على نتيجة ذو مدلول (حاسمة) دائمًا رغم الاستمرار في الاختبار، عندها يجب إدراك أنه لا فائدة من هذا الاختبار والذي لا يقدّم ولا يؤخّر، حيثُ أن البدائل variants التي تمّ اختيارها ليست ذات فرق جوهري للمستخدم، وهذا يعني وجوب البحث عن بدائل جديدة. بعد تطبيق المعادلة على أمثلة من الواقع العملي، سيتمّ ملاحظة أنه عندما تكون N صغيرة القيمة سيكون من الصعب -إن لم نقل من المستحيل- الوصول إلى نتيجة حاسمة إحصائيًّا، فعلى سبيل المثال، ليكن لدينا إعلان بست نقرات وآخر بنقرة واحدة، وبالتالي فإن: N = 7 D = 2.5 D**2 = 6.25 مازال الاختبار غير حاسم، على الرغم من أن "A" تغلّبت على "B" وبنتيجة ستة إلى واحد، وعليه فإن فمن الضروري الانتظار قبل التقرير والفصل، والأرقام هي دائمًا الحكم الأوّل والأخير. ولكن ماذا عن السواد الأعظم من المستخدمين والذين لم ينقروا على أيٍ من الإعلانين؟ طبعًا المقصود بذلك هو "إعلان الظهور ad impressions" والذي لم يؤدي إلى عملية النقر، هل يجب أن تؤخذ بالحسبان وتُدرج في الإحصائية؟ لا يجب أن يُدرج إعلان الظهور في الحقيقة، فهو يُعتبر غير صالح (محاولات لا قيمة لها)، ولمعرفة السبب في ذلك، يمكن الاستعانة بتجربة "هَمي" مرّة أخرى، حيث أن الفيديو السابق قد تمّ تحريره طبعًا، ولعدد كبير من المحاولات "هَمي" لم يختر أي شيء، ولا يوجد أي مدلول في ذلك، بمعنى أنه لا يمكن القول إن "هَمي" قد أعجبه الطعام أم لم يعجبه في هذه الحالة. ولأن "نسبة النقر click-through rate" تعتمد على عدد النقرات clicks وعدد مرّات الظهور impressions، فلا يجب استخدامها في الحصول على نتيجة حاسمة إحصائيًّا، بل فقط يجب استخدام عدد النقرات فقط في المعادلة. أرجو أن تساهم هذه المعادلة في تقديم نتائج مرضية على مستوى الاختيار والفصل بين الإعلان الأنسب، فهي بسيطة بشكل كافي ولا حجة في تجاهلها، خاصّة وأن تقدير الأمور اعتباطيًّا قد يقود إلى عواقب وخيمة، لذلك من الحكمة الاعتماد على الأرقام في الوصول إلى نتائج تمثّل الواقع. بالنسبة للرياضيات والحساب وللراغبين في معرفة التفاصيل: إنّ الاختبار الإحصائي المستخدم هو Pearson’s chi-square، حيث فرضية العدم null-hypothesis يعود إلى اختبار A/B على المصادفة دون أي شيء آخر، ويعرّف قانون "كاي" بالصيغة التّالية (حيث أن m هو عدد الاحتمالات الممكنة ويمثّل Oi عدد الرصد في المحصّلة #i; ويمثّل Ei العدد المتوقّع للنتائج في المحصّلة #i): ستكون قيمة m = 2 باعتبار وجود احتمالين فقط مع اختبار A/B، ومن عملية عشوائية 50/50، فإن القيم المتوقعة هي Ei = n/2 حيث أن n = O1 + O2، وبالأخذ بالحسبان أن A = O1 ستكون القيمة الأكبر وأن B = O2 ستكون القيمة الأصغر من القيم المحصّلة من المراقبة observed، ستكون المعادلة (غير المبسّطة) هي بعد التعويض: مربّع الفرق بين A و n/2 هو نفسه بين B و n/2 (لأن A+B = n)، ولذلك يمكن استبدالهما بالمتغيّر الجديد D**2 (مربّع D). تعريف D في المعادلة A-B)/2) يأتي عبر استبدال n = A+B إلى D = A - n/2، وبالتالي فإن سيكون لدينا الصيغة المبسّطة التّالية: أصبح من الممكن الآن حساب الإحصاء chi-square، ولكن يجب الرجوع إلى توزيع chi-square لتحديد المدلول الإحصائي statistical significance، وبالتحديد: ما هي احتمالية أن حدوث هذه النتيجة عن طريق الصدّفة فقط؟ إن العودة إلى التوزيع وبالقيمة 1 من درجة الحرية degree of freedom (تعتمد B على A ولذلك يوجد درجة حرية واحدة)، ونحن بحاجة إلى تخطي القيمة 3.8 من أجل الحصول على ثقة بنسبة 95% و 6.6 من أجل 99% ثقة في فعالية الإعلان، وبناءً على الخبرة اخترت القيمة 4 كعتبة حرجة، وبعد الحلّ ومن أجل مربّع D: وعليه فقط تمّ البرهان وما هو مطلوب إثباته. ملاحظة أخيرة، إن كان مربّع D أكبر من ضعف n، فإن معدّل الثقة في هذه الحالة قد تجاوز 99% تمامًا. ترجمة وبتصرّف للمقال Easy statistics for AdWords A/B testing, and hamsters لصاحبه Jason Cohen.
- 2 تعليقات
-
- 3
-
- ux
- ab testing
-
(و 7 أكثر)
موسوم في:
-
هل تساءلت من قبل حول كيفية الحصول على المزيد من الزوّار إلى موقعك؟ لست وحدك من يخطر على باله هذا السؤال، إذ أنّ زيادة عدد الزّيارات traffic هي، في كثير من الأحيان، المشكلة الأولى التي تواجه المسوّقين اليوم. لكن للأسف لا يعتبر الحصول على المزيد من الزّيارات أمرًا سهلًا، فهناك خيارات لا حصر لها للقيام بذلك، ككتابة مقالات استضافية، تحسين المقالات لمحركات البحث، أو توليد الزيارات بواسطة الشبكات الاجتماعية. وسنركّز في مقالنا هذا على الخيار الأخير. في هذا المقال سأشاركك 7 من أكثر الدروس الفعّالة التي تعلمناها في HubSpot من خلال إجراء تجارب عبر الشبكات الاجتماعية لزيادة الإحالات من تلك الشبكات بنسبة 241%. لقد قمنا بإجراء سلسلة من تجارب وسائل التواصل الاجتماعي على مدونة Sidekick (والتي توجّه حاليًا إلى مدونة HubSpot Sales) لكي نولّد المزيد من التدفق إليها. والنتيجة كانت زيادة في التدفق الشهري للمدونة بنسبة 241% وخلال 8 أشهر. خلال الأشهر الثمانية تلك، قمنا بإجراء الآلاف من التجارب الخاصّة بوسائل التواصل الاجتماعي لتنمية عدد المستخدمين وزيادة التدفق. ومن خلال رحلتنا في بناء آلة للنمو، تعلّمنا بعض الدروس المتعلّقة بالمشاركة على الشبكات الاجتماعية، وهي ما أودّ مشاركتها معكم. ملاحظة: HubSpot هي شركة عامّة (يعني أسهمها مطروحة للتّداول العام في البورصة)، لذلك لا يُسمح لنا مشاركة بيانات حقيقية. لذلك جميع الأرقام الواردة هنا مزيّفة، لكنّني أؤكّد أن الدروس والتجارب جميعها حقيقية. 1. الأشياء المجانية تضاعف المشاركات لكل مقال عندما قمنا بإجراء اختبار A/B على مقال حول لغة الجسد body language، قمنا بتجربة إصدارين منه: الإصدار A يحتوي على عرض مجاني في النهاية الإصدار B لا يحتوي على شيء مجاني والنتيجة كانت تضاعف عدد المشاركات shares التي حصل عليها الإصدار A. بعبارة أخرى، حصلنا على 2,200 مشاركة بدلًا من 1,100. توضّح الصورة أدناه الدعوة إلى إجراء CTA البسيطة التي استخدمناها في الإصدار A: لقد واصلنا إجراء هذه الاختبارات وحصلنا على نفس النتائج؛ نُدرج شيئا مجانيًا وسيتضاعف عدد المشاركات للمقال. وبالتالي كان التأثير المتراكم على التدفق لهذه التجربة هائلًا بالنسبة لنا. 2. إدراج روابط Click-to-Tweet خلال المقالات يزيد المشاركات في جدول البيانات أدناه، قمنا بتحليل المقالات التي استخدمنا فيها روابط (Click to Tweet (CCT (انقر لنشر تغريدة) مقابل البيانات التي لم نستخدم فيها CTT: هل تلاحظ نمطًا معينًا؟ في العمود E ستلاحظ أنّ المقالات التي تضمّنت CTT هي من بين مقالاتنا التي حصلت على أكبر عدد من المشاركات على تويتر. قد يبدو الأمر بديهيًا، لكن من الرائع رؤية البيانات التي تدعم فرضيتنا. قد تفكّر لوهلة، "عظيم! من الآن فصاعدًا سأقوم بإضافة روابط CTT في كل مقالاتي"...لكن تمهّل، أنصحك بأنّ تختبر كل شيء. لأنّ روابط CTT قد تنجح مع جمهورنا، لكنّ قد يكون لها تأثيرًا مختلفًا كليًا على جمهورك. كانت لدينا فلسفة تتعلّق بإدراج روابط CTT وهي إن لم يكن وجودها يبدو عفويًا وطبيعيًا، لن نستخدمها. ولذلك كانت الاقتباسات والإحصاءات المثيرة للاهتمام هي الفقرات الأكثر شيوعًا التي ندرج عندها رابط CTT. 3. تويتر هو مصدر المشاركة "الأكثر قيمة" بالنسبة لنا إنّ حصولك على المزيد من المشاركات لا يعني أنّك ستحصل على المزيد من التدفق. على سبيل المثال لنفترض أنّ أحدهم (ولندعوه زيد) قام بتغريد مقالنا، والهدف كان أن يقوم شخص آخر بالنقر على الرابط الذي نشره زيد. إذا لم يقم أحد بالنقر على ذلك الرابط، لن تحصل مدونتنا على زيارة جديدة. وإذا حدث ذلك، لن تقدّم تغريدة زيد لنا أيّة عائدات، لأننا لم نحصل على زائرين جدد إلى محتوى مدونتنا. ولذلك، كلما زاد عدد الناس الذين ينقرون على رابط قمت بمشاركته، ستصبح المشاركات "أكثر قيمة". هل يبدو لك الأمر منطقيًا الآن؟ قمنا بتحديد مصادر وسائل التواصل الاجتماعي الأكثر قيمة بالنسبة لنا باستخدام أداة تدعى Filament ومن خلال المعادلة البسيطة التالية: إجمالي مشاهدات الصفحة لكل شبكة/ إجمالي عدد المشاركات لكل شبكة وكانت النتائج التي حصلنا عليها خلا فترة 30 يوم كالتالي: يعني هذا بعبارة أخرى: مقابل كل مشاركة نحصل عليها على تويتر، يقوم شخصان بالنقر على الرابط الذي شاهدوه. مقابل كل مشاركة نحصل عليها على فيس بوك، يقوم 1,5 شخص بالنقر على الرابط الذي. مقابل كل مشاركة نحصل عليها على لينكدإن، يقوم 0,75 شخص بالنقر على الرابط. على سبيل المثال، إذا حصلنا على 1000 مشاركة على تويتر و1000 مشاركة على لينكدإن ولنفس المقال، يمكننا أن نتوقّع 2000 زيارة من تويتر (1000 مشاركة × 2 مشاهدة لكل مشاركة)، لكن 750 زيارة فقط من لينكدإن (1000 مشاركة × 0,75 مشاهدة جديدة لكل مشاركة)، بالرغم من أنّ عدد المشاركات متساوٍ على الشبكتين. يعني هذا أنّ الحصول على مشاركات على تويتر أكثر قيمة من الحصول على مشاركات على لينكدإن، على الرغم من أنّ لينكدإن يملك أكبر عدد من المشاركات. مثير للاهتمام، أليس كذلك؟ لقد جعلنا ذلك ندرك أهمية أخذ مصدر المشاركات الأكثر قيمة في الاعتبار وليس تتبع العدد الكلي للمشاركات فقط. 4. تمثيل "إدامة المشاركة" (share retention) لمقالاتنا بمرور الزمن بشكل مرئي في هذه التجربة سعينا إلى فهم المعدل الذي تتناقص فيها المشاركات بمرور الزمن ولكل مقال. كانت بيانات مدونتنا بالشكل التالي: المجموعات الأسبوعية (على يسار الجدول) هي متوسط عدد المشاركات لجميع المقالات المنشورة في ذلك الأسبوع (قمنا بنشر 3 مقالات في كل أسبوع في المتوسط). على سبيل المثال، في المجموعة الأسبوعية A، كان متوسط عدد المشاركات لثلاثة مقالات في الأسبوع مساويًا لـ 203 مشاركة. وبعد أسبوعين أصبح 264، إلخ. يعتبر متوسط المشاركات لكل المجاميع الأسبوعية (والمميز باللون الأصفر) هو الجزء الأهم في هذه البيانات. وكما هو واضح من الجدول كان متوسط عدد المشاركات التي يمكن أن يحصل عليه المقال بعد أسبوع مساويًا لـ 309. وبعد أسبوعين أصبح 414. بعد ثلاثة أسابيع أصبح 479، وهكذا. المخطط أدناه يوضّح كيفية انخفاض معدل المشاركات بمرور الزمن: 5. مشاركة المقالات من قبل المؤثرين تنتج عنها طفرة كبيرة في المشاركة في مارس 2015، قمنا بنشر مقال حول الروتين اليومي لبنجامين فرانكلن، وفي تاريخ 20 أيلول، 2015 وصل إجمالي المشاركات لهذا المقال 181 مشاركة. بعد يوم من ذلك حصل ذلك المقال على 244 مشاركة إضافية... في يوم واحد: عجيب! ما الذي حدث؟ قام Brian Halligan المدير التنفيذي لشركة HubSpot بإعادة تغريد المقال. وكنتيجة، زاد إجمالي المشاركات لمقال نشر قبل ثلاثة أشهر ثلاثة أضعاف تقريبًا. وكذلك حصلنا على الآلاف من الأشخاص الجدد لقراءة مقالنا، واكتشاف Sidekick. نعم، لا جدال في هذا الأمر، ستحصل على المزيد من المشاركات إذا قام أحد المؤثرين بمشاركة مقالك. بعد أن أدركنا ذلك بدأنا بتطبيق الهندسة العكسية أثناء كتابة المقالات، حيث كنا نسأل أنفسنا باستمرار، "من هو المؤثر الذي قد يشارك هذا المقال؟" ثم نعمل بشكل عكسي للتأكّد من أنّ هذا المقال سيروق لذلك المؤثر. 6. المقالات بعنوان "العادات الـ [عدد] للأشخاص [وصف]" لقد ترددّتُ قليلًا قبل أن أفصح عن هذا السر، لكنني سأشارككم به. هناك عنوان سحري وهيكل للمقالات ربّما لم تطّلع عليه بعد، وهو يتبع البنية التالية: العادات [عدد العادات] للأشخاص [وصف لهؤلاء الأشخاص] هل يمكنك أن تخمّن أي المقالات التي تحصل على أكبر عدد من المشاركات دائمًا على مدونتنا Sidekick؟ هذه المقالات هي: العادات الثلاث عشر للأشخاص فائقي الإنتاجية (2,500 مشاركة) العادات التسع للأشخاص المحبوبين والملهمين جدًا (2,000 مشاركة) وليست مقالات مدونتنا بهذه البنية هي الوحيدة التي تحصل على أكثر المشاركات، فلا يختلف الحال على موقع Forbes.com: ولا على موقع Entrepreneur.com: ولا نستثني الكتاب التالي الذي ربّما لم تسمع عنه من قبل: لماذا تتم مشاركة المقالات التي تحتوي على هذا العنوان والهيكل بشكل باستمرار؟ يريد الناس أن يقوموا بمحاكاة "عادات" الأشخاص الذين يتميّزون بشخصيات يرغبون في امتلاكها. نحن نطمح إلى أن نكون أكثر إنتاجية، أكثر نجاحًا، وأن نصبح أشخاصًا محبوبين أكثر، وذوي شخصيات قوية. لذلك نولي المزيد من الاهتمام عندما تُعرض علينا عادات الأشخاص الآخرين الذين لديهم هذه الصفات. وبما أننا نطمح إلى امتلاك هذه الصفات، نقوم بمشاركة النصيحة مع الآخرين، لأنّنا نريد أن يُنظر إلينا بتلك لطريقة. جرّب هيكل المقالات هذا على مدونتك ولاحظ كيف يتفاعل القرّاء. ستنجح! 7. المزيد من المشاركات لا تعني بالضرورة المزيد من تسجيلات المنتج ستتفاجأ من هذه التجربة. Sidekick هو أحد ملحقات تعقّب إنتاجية البريد الإلكتروني لمتصفّح Google Chrome، لذلك تتمركز استراتيجية المحتوى الخاصة بنا حول هدف واحد: الحصول على المزيد من الناس الذين يسجّلون للحصول على Sidekick عبر تسويقنا بالمحتوى. كنّا دائمًا نتساءل فيما إذا كانت الزيادة في المشاركات الاجتماعية هدفًا قيّمًا لتسجيلات المنتج. وكانت الإجابة واضحة في حالتنا؛ المشاركات الاجتماعي لا تساهم في زيادة تسجيلات Sidekick. كشفت البيانات أنّ المزيد من المشاركات الاجتماعية لا تساهم بالضرورة في توليد مستخدمين جدد. ولذلك قررنا أنّ التركيز على المشاركات الاجتماعية ليس الاستخدام الفعّال لوقتنا للحصول على تسجيلات مستخدمي Sidekick جديدة. وبدلا من ذلك قمنا بتحوير استراتيجية المحتوى للتركيز على أساليب أخرى. من المفارقات في هذا الموضوع أنّ تحسين مقالاتك للمشاركات الاجتماعية ثم إدراك أنّ ليس لها ارتباطًا مباشرًا بتسجيلات المنتج يمكن أن يجعلك تتساءل، "حسنًا، ما المغزى من الحصول على مشاركات اجتماعية؟"، والذي هو من الأسئلة الوجيهة. يرجع سبب ذلك إلى نقطة أساسية ذكرناها في هذا المقال: تملك الشركات المختلفة عملاء مختلفين. وما يصلح لشركتنا يمكن أن لا يصلح لشركتك. ولا ندري، ربّما تكون المشاركات الاجتماعية ذات صلة بتسجيلات منتجك. لكن لا يمكنك الجزم في هذا الأمر قبل أن تجري التجارب والتحليلات بنفسك. دع البيانات توجّه قراراتك، استمع إلى جمهورك، وستتفاجأ بسرعة نمو شركتك. كانت هذه النتائج فعّالة لجمهورنا، لكن جمهورك مختلف. لذلك تأكّد من أن تتعامل من هذه النتائج كمصدر إلهام لإجراء التجارب، ولا تعتبرها من الأمور الحتمية. افصل بين هذه الأفكار باختبار A/B، ولا تعتمد هذه الدروس ببساطة دون إجراء التجارب بنفسك، فالعملاء المختلفون يتفاعلون بشكل مختلف. خاتمة كانت هذه النتائج فعّالة لجمهورنا، لكن جمهورك مختلف. لذلك تأكّد من أن تتعامل من هذه النتائج كمصدر إلهام لإجراء التجارب، ولا تعتبرها من الأمور الحتمية. ومن المهم أن تتذكر دائمًا أنّ العملاء المختلفين يتفاعلون بشكل مختلف، وما يصلح لشركة ما قد لا يصلح لأخرى. شكرًا لمواصلة القراءة. يسعدنا سماع رأيك بهذه التجارب أو بتجاربك الخاصة من خلال التعليقات. ترجمة -وبتصرّف- للمقال 7Powerful Social Media Experiments That Grew Our Traffic by 241% in 8 Months لصاحبه: Scott Tousley.
- 1 تعليق
-
- تواصل اجتماعي
- اختبار a/b
-
(و 6 أكثر)
موسوم في: