מתי לעצור בדיקת A/B: אל תכריזו על מנצח מוקדם מדי
להכריז על מנצח בבדיקת A/B מוקדם מדי זה הטלת מטבע עם דשבורד.
תטילו מטבע הוגן שלוש פעמים. שלוש פעמים "עץ" ברצף יוצא בממוצע פעם אחת בכל שמונה ניסיונות. 100% עץ. דשבורד יפהפה. עדיין מטבע הוגן.
בדיקה ששווה היה לחכות לה
עבדתי כ-Fractional CMO על משחק מטבעות, ושם הרצנו A/B test על scripted journey בתוך הטוטוריאל, החוויה הראשונה שכל שחקן חדש עובר (FTUE).
התוצאה: ה-ROAS הכולל השתפר ב-14.5%.
שינוי בדקות הראשונות של המשחק שינה את ההחזר על כל הכסף שהוצאנו על UA. בגלל זה אכפת לי כל כך מה קורה אחרי ההתקנה. ובגלל זה גם אני רוצה יותר מיתרון מוקדם לפני שאני מכריז על תוצאה.
המלכודת שבתוך "מחכים למובהקות"
"מחכים למובהקות סטטיסטית" נשמע כמו הכלל הבטוח. בפועל זו יכולה להיות עוד דרך לעבוד על עצמכם.
אם בודקים את התוצאה כל יום ועוצרים ברגע שהיא חוצה את הקו, מכריזים על הרבה יותר מנצחים מזויפים ממה שרמת המובהקות מבטיחה. כל הצצה היא עוד הטלה של המטבע. ממשיכים להטיל, ובסוף יוצאים שלושה "עץ".
הכללים שאני עובד לפיהם
בבדיקה עם מדגם קבוע:
- קובעים את גודל המדגם ואת כלל ההחלטה לפני ההשקה. כותבים את המדד, את האפקט המינימלי שבגללו שווה לפעול, וכמה משתמשים כל קבוצה צריכה.
- לא עוצרים מוקדם כי התשובה מוצאת חן בעינינו. עוצרים כשמגיעים למדגם המתוכנן.
- נותנים לשתי הקבוצות אותו זמן לייצר הכנסה. בדיקת ROAS צריכה אותו payback window לכל קבוצה. השוואה בין cohort של 14 יום ל-cohort של 7 ימים היא לא בדיקה.
אם חייבים להחליט תוך כדי, משתמשים בשיטה שנבנתה בשביל זה, כמו sequential test, במקום להציץ בבדיקה עם מדגם קבוע.
למה זה חשוב עוד יותר בבדיקות FTUE
שינוי ב-onboarding או בטוטוריאל פוגע או עוזר לכל משתמש חדש, אז החלטה שגויה עוברת לכל ה-cohorts הבאים ולכל תקציב הפרסום הבא. המחיר של מנצח מזויף הוא לא פיצ'ר גרוע אחד. הוא סשן ראשון גרוע יותר לכל מי שאתם משלמים כדי להביא.
בשורה התחתונה
אני רוצה ללמוד מהר יותר. אני גם רוצה שהתוצאה תחזיק מעמד אחרי שהיא נכנסת למצגת.
שלושה "עץ" יכולים לנצח בהטלת מטבע. תנו לניסוי להוכיח שהוא באמת ראוי להשקה.
שאלות נפוצות
כמה זמן להריץ בדיקת A/B?
עד שהיא מגיעה לגודל המדגם שחישבתם לפני ההשקה, ומספיק זמן כדי לכסות שבועות מלאים. בבדיקות של הכנסה או ROAS, שתי הקבוצות צריכות גם אותו זמן לייצר הכנסה.
למה לא נכון לעצור בדיקת A/B ברגע שהיא מגיעה למובהקות?
כשבודקים שוב ושוב ועוצרים בתוצאה המובהקת הראשונה, מנפחים את כמות ה-false positives. כל בדיקה היא עוד הזדמנות לרעש אקראי להיראות כמו ניצחון.
מה כדאי לבדוק קודם במשחק מובייל?
החוויה הראשונה של המשתמש היא בדרך כלל המקום עם ההשפעה הכי גדולה, כי היא נוגעת בכל שחקן חדש. במשחק מטבעות אחד, scripted journey בטוטוריאל שיפר את ה-ROAS הכולל ב-14.5%.
ומה אם צריך לקבל החלטות לפני שהבדיקה נגמרת?
משתמשים ב-sequential test, שנבנה בדיוק למעקב רציף, במקום להציץ בבדיקה עם מדגם קבוע.