A/B-тестирование: для чего нужно и как провести?

Зачем проводить тесты и как сделать это эффективно, рассказали в статье.

A/B-тестирование, сплит-тестирование — инструмент сравнения двух вариантов/версий чего-либо. Специалист выдвигает гипотезу и подтверждает/опровергает ее с помощью тестирования.

Если объяснять проще, то тестирование помогает определить, какой из 2-х дизайнов письма, цветов кнопки, текстов, заголовков показывают лучшую конверсию.

Чаще всего к этому инструменту обращаются маркетологи, продуктовые менеджеры, продуктовые дизайнеры.

Для чего нужно A/B-тестирование?

Такое тестирование помогает быстро проверять гипотезы. Например, имеет смысл запускать несколько рекламных объявлений под одну рекламную кампанию. Объявления будут отличаться только заголовком, или только изображением, или только текстом и т.д. Так можно быстро найти формулу “идеального” объявления под конкретную задачу.

Тестирование помогает принимать решения, не потому что “так кажется”, а на основании реальных цифр и данных.

Тестирование помогает лучше понять ЦА (целевую аудиторию). Иногда самые неожиданные гипотезы могут сработать, а те, в которых вы были уверены на 100%, наоборот, не оправдать возложенных ожиданий.

К чему применяется A/B-тестирование?

Часто под тестирование попадают:

• Email-рассылки
• Push-уведомления
• Лендинги
• Элементы сайта
• Рекламные объявления

А если быть точнее, то проверяют:

• тексты
• заголовки
• кнопки (цвет, расположение)
• шрифты
• расположение блоков
• call to action (призыв к действию)
• изображения
• каналы распространения

Как провести A/B-тестирование?

Выделяют 6 основных шагов для проведения проверки гипотез.

1. Цель
Необходимо обозначить цель тестирования и понять, как она соотносится с задачами бизнеса. То есть не делать тесты ради тестов. Результаты должны финально принести пользу бизнесу, например, увеличить количество регистраций, покупок.

2. Метрики
Тут все просто. Нужно определить, по какой метрике вы будете сравнивать результаты. Например, это может быть CR (коэффициент конверсии), CTR (кликабельность).

3. Гипотеза
На этом этапе описываем, что именно проверяем, какие результаты предполагаем и почему.

4. Подготовка

• Создаем вторую версию тестируемого элемента (письма, сообщения, лендинга, рекламного объявления)
• Определяем аудиторию для тестирования. Например, в тесте могут участвовать все пользователи, пользователи только с определенной геолокацией, пользователи смартфонов или ПК, пользователи определенного пола/возраста и проч. Делим аудиторию 50 на 50. Первая часть аудитории будет видеть вариант A, вторая — вариант B.
• Определяем размер выборки с помощью калькулятора. Примеры таких калькуляторов можно посмотреть здесь, здесь и здесь. Важно, чтобы выборка была достаточно большая. Если группы для тестирования будут небольшие, результаты нельзя считать точными и объективными.
• Определяем время необходимое для проведения тестирования. Часто применяют следующий способ:

Размер выборки/ежедневный трафик = количество дней для теста

5. Эксперимент
Тут все понятно из названия. Проводит сам тест.

6. Анализ
Изучаем полученные результаты, смотрим на метрику, которую выбрали основной перед проведение тестирования (пункт 2), и делаем выводы, какая из версии показала большую конверсию, кликабельность, количество регистрации и т.п.

Если вышло так, что тест не выявил “победителя”, заданная метрика не отличаются в обеих версиях, то можно оставить любой из вариантов. Имеет смысл провести более глубокую аналитику и посмотреть результаты тестирования по разным сегментам аудитории, на разных устройствах, разных регионах. Это даст больше информации о взаимодействии аудитории с сайтом/лендингом/письмом.

Не будем забывать о том, что тестирование должно работать на пользу бизнесу. Например, если вариант A показал кликабельность (ключевая метрика) выше, чем вариант B, но вариант B принес больше прибыли, то оставлять нужно именно второй вариант.

Ошибки в A/B-тестировании

1. Не проводится сегментация пользователей
Каждый клиент уникален, но одни похожи друг на друга больше, чем другие. Таких похожих клиентов мы можем объединять в группы или сегменты.

Сегментация — распространенный среди маркетологов инструмент, который помогает поделить клиентскую базу на части, чтоб эффективнее работать с каждой в отдельности.

При проведении теста важно, чтобы разные сегменты видели релевантные по содержанию сообщения, баннеры, лендинги и т.д. Иначе может получиться так, что версия B сработала плохо на всех пользователях, то есть проиграла. Но на нужном сегменте могла показать прекрасные результаты.

2. Маленькая выборка
Мы уже писали об этом чуть выше. Выборка должна была достаточно большая. Если группы для тестирования будут небольшие, результаты нельзя считать точными и объективными.

3. Много тестов в одном
Чтобы результаты A/B-тестирования были прозрачными и не давали большую погрешность, мы советуем проверять 1 элемент за 1 тест. Если вы сразу поменяете и заголовки, и кнопки, и блоки, то не сможете понять, что именно сработало лучше, а что хуже.

Итог

A/B-тестирование — крайне полезный инструмент в руках маркетологов и продуктологов. В идеале, такие тесты должны быть вашей рутиной, то есть проводиться регулярно, чтобы проверять все новые и новые гипотезы, отсеивать лишнее и создавать лучший клиентский опыт, увеличивать конверсию и продажи.