Тут стоїть пік он - лайн - комерції, що означає більше тиску, більше транспорту та більше перетворень. Тестування A/B залежить від рівня інтенсивності навантаження і високої гучності, але тест на A/B не є найменшим, що ви робите у магазині. Чому?
Причина 1: Збирання даних коштує!
Якщо ви все ще читаєте, ймовірно, ви знайомі з тим, як працює тест A/B: Рівний розподіл дорожнього руху між регуляторами і версіями, тривалість тесту принаймні двох бізнес- циклів тощо. Якщо ви тестуєте чорну п'ятницю, Кібер понеділок або Різдво, то будете продовжувати посилати трафік з подібним розподілом транспорту на зміни, які роблять речі поганими.
В тестуванні А/Б, це довго. вибух фаза, коли ви надсилаєте рівень навантаження між регуляторами і змінами перед тим, як отримаєте чітку відповідь. Це означає, що час, який ви проводите з дослідженням різних варіантів, також призведе до втрати потенціалу, оскільки вам доведеться надсилати дорожнішу версію. навіть коли варіація здається робить її кращою. Спочатку це безпечна модель, але ви можете пропустити потенційні продажі в напружені періоди, як-от чорна п'ятниця. То яка ж справжня альтернатива?
Тестування на каналі з декількома ролями
Багаторукий алгоритм бандита можна описати так:
- Десять відсотків часу між контролем і мутацією (проекція вибуху) однаково розколюється.
- Для позосталих 90% часу ви надсилаєте трафік до версії, яка дає вам найбільше в той час (територія експозиції). }Джерело)
Порівняно з тестуванням A/B, тестування на дистанцію може працювати у короткостроковому режимі, але це, звичайно ж, тестова стратегія, яка є дуже новішою для коротших періодів високого тиску, і де ви знаєте, що працюватимете з неправильними рівнями дорожнього руху і шаблонами користувачів.
Три переваги тесту Бандита:
- У цьому ти вчишся. Довга фаза експлуатації традиційних тестів А/Б не є привабливою за коротші періоди високої активності. В тестах, що займаються автоматами, ми максимізуємо фазу експлуатації.
- Автоматизація. У напружений період, як Блек П'ятниця або в різдвяну найшвидшість, це дивовижно, що алгоритм автоматизується.
- Тестування Бандит використовується з таких причин: перехід від вибуху до вибуху є прибутковим, ви маєте можливість збільшити швидкість під час тестів, оскільки вони працюють на коротші періоди, а оптимізація виконується автоматично.
(Джерело)
Причина 2. Багато змін навколо свят. Більшість магазинів у мережі можуть очікувати:
- Зростає кількість нових відвідувачів і зростає в нових джерелах дорожнього руху.
- Збільшіть gj. значення order і gj. товари за торговий кошик.
- Кілька розтягнених возів через збільшення кількості некваліфікованих мисливців за свинцями та угодами.
- Кілька технічних проблем через різке збільшення інтенсивності руху.
- Цілком різні моделі користувачів з вашого }' трафіку.
Так ваш трафік зростає і ви отримуєте більше людей, але чи негативно це від вашого тест-плану?
Добре відома проблема - це няня. Тести, які ви проводите за чорний день, у понеділок або Різдво, можливо, не стосуються лютого, коли вони повертаються до більш нормальних ⇩ - таких місць. В ідеалі, вам слід порівняти вихідні з часом відпустки, але багато може змінитися за один рік, і результати тесту A/B точно не є сталими. Тесты, которые ты сделал в прошлом году, могут быть абсолютно бесполезны в этом году. Важливо пам'ятати, що якщо ви збираєтеся щось протестувати, то мета не полягає у збільшенні продажів. next Чорна п'ятниця, або ж лютий, базуючись на тому, що ви зрозуміли. Мета: якомога швидше збільшити кількість продажів.
Добра програма для перевірки A/B відновлює попередні тести та гіпотези для перевизначення, але це займає багато часу, і існує велика ймовірність, що тести A/B від святкування закупівель будуть програти, коли речі повернуться до нормального } Тому ви ризикуєте витратити багато часу на тести, які програють.
ТЛ; ДР: Ви, VIL, страждаєте від запиленням, витратите час на повторне перевірки A/B, і ваші результати будуть застосовуватися до вашого звичайного руху.
Найкраща порада, яку я можу дати онлайн-магазинам, це скинути тест на A/B/n на відомі свята по магазинах і зосередитися на тестуванні Бандита.
Зацікавлений більше дізнатися про тест на Бандит?
Якщо ви маєте намір запустити тести на каналі, замість A/B/n Приблизно стільки ж років тому Інструкція для перевірки свят Приблизно стільки ж років тому Балансування з навчанням: Бандити і адаптивна оптимізація тясерікс
Не впевнений про що випробовувати?
Завжди починайте з власних даних, інші тести можуть не бути найважливішими для вас. ПеретворенняXL Однак зібрав деякі корисні відходи від сеансу на twitter (# opttichat).
Фахівці кажуть, що тести А/Б з найгіршим ефектом на фестивалі є тими, що заважають будь-якій феї, непевності або сумніваються, що продавець може мати. У вихідні такі тести є радикальними, структурними змінами, які можуть призвести до порушення місця або повільної швидкодії (CXL)
Отже, хорошими елементами для тестування є:
- Пропозиції цінності
- Неналежність
- Пропоновані категорії
- Пропоновані продукти
- USPs
З чорним тижнем!