Один из простых и эффективных способ понять, какие изменения на сайте повышают конверсию – провести A/B тестирование, в ходе которого сравниваются несколько версий дизайна, расположения отдельных элементов, вариантов навигации и структуры портала. Исследование помогает оценить, на какой из вариантов лучше реагируют пользователи. Этот маркетинговый инструмент используется в случаях:

• Когда необходимо доказать рациональность обновления продукта или других изменений;
• В команде есть разные мнения о том, какая из версий продемонстрирует более высокую конверсию;
• Разработчикам кажется, что обновление сделает площадку более удобной и снизит количество отказов.

Таким образом, это data–driven подход, основанный на получении и сравнении конкретных данных. A/B тесты позволяют проверять любые гипотезы с минимальными затратами. Мнение специалистов может быть субъективным, а результат сплит–тестирования – никогда.

В каких сферах можно проводить A/B тесты?

Этот метод исследований необходим не только для проверки гипотез в сфере веб–дизайна. Освоить навык следует:

Маркетологам

Тестирование различных креативов и CTA, изображений и заголовков – эффективный метод для оптимизации рекламной кампании и коррекции отдельных метрик.

Разработчикам

Повышение качества UX/UI– дизайна невозможно без постоянного изучения поведения пользователей и проверки разных вариантов. Тесты помогают понять, что именно влияет на показатели конверсии, и выбрать лучший вариант.

Продакт – менеджерам

Изменение концепции продукта и рациональность обновлений, коррекция ценовой модели, оптимизация воронки продаж – так могут использовать A/B тестирование те, кто управляет проектом.

Сравнить два или более варианта, чтобы выбрать лучший – вот основная задача сплит–теста. Если среди ваших приоритетов – повышение эффективности рекламных кампаний, улучшение качества продукта и его использования для конечного потребителя, разработка удачной контент–стратегии, без использования данного инструмента не обойтись. Только регулярные эксперименты с участием представителей вашей целевой аудитории помогут найти верный путь продвижения – с минимумом затрат и максимумом конверсии.

Проведение A/B тестов: пошаговая инструкция

Для того чтобы получить объективный результат, необходимо провести сплит–тест по всем правилам. С помощью приведенной ниже инструкции вы с легкостью проверите любую гипотезу.

Шаг 1. Постановка целей

Тестирование различных гипотез направлено на решение имеющихся в проекте бизнес–задач. Например, вы являетесь владельцем интернет–магазина, и в ходе оценки уровня конверсии сайта обнаружили, что 70% клиентов не оформляют заказ онлайн, а ограничиваются тем, что просто кладут товар в корзину. Ваша задача – проработать механизм совершения покупки таким образом, чтобы уменьшить этот показатель. Причем, речь идет не об абстрактных цифрах: результаты должны быть конкретно измеримыми. Если говорить об этом примере – количество отказов необходимо сократить до определенной цифры, например, в 30% от общего числа пользователей.

Шаг 2. Выбор метрик

Для оценки данных, полученных в ходе исследования, нужно выделить конкретные метрики, которые и будут проанализированы. Например, вам нужно проверить, какой из вариантов дизайна веб–страницы удобней для пользователей. Логично обратить внимание на процент отказов и количество тех посетителей, кто совершил конверсионное действие. Так как речь идет о реально измеримых результатах, необходимо выбирать количественные метрики.

Шаг 3. Разработка гипотезы

Вы уже поняли, что А/Б тестирование – это, прежде всего, сравнение нескольких вариантов для выбора лучшего по определенным показателям. Теперь важно определиться с гипотезой – тем, что мы будем менять и сравнивать для получения конкретного результата.

Например, на вашем ресурсе есть подписная форма, которую игнорируют большинство пользователей. Вы считаете, что изменение ее дизайна и количества полей приведет к увеличению числа подписок на 30%. Это и есть гипотеза. Чтобы ее подтвердить или опровергнуть, необходимо продемонстрировать контрольной группе портал со старой формой и сайт с обновленным дизайном, а затем – сравнить результаты. Обычно выделяют несколько сценариев, которые помогают понять, что именно повлияло на результат – случайность или внесенные изменения:

• Мы надеемся опровергнуть гипотезу, в которой и изначальная версия дизайна А, и обновленный вариант В демонстрируют одинаковую конверсию;
• Мы надеемся подтвердить гипотезу о том, что обновленная версия В демонстрирует результат лучше, чем старый вариант А.

Тестирование может быть как односторонним, в ходе которого мы только опровергаем гипотезу, так и двухсторонним, когда мы и опровергаем определенное утверждение, и обнаруживаем определенные изменения, влияющие на результат.

Шаг 4. Подготовка к проведению А/Б тестов

Чтобы обеспечить чистоту эксперимента и получить корректные данные, нужно:

• Подготовить обновленную версию B, с которой будет сравнен старый вариант A.
• Определиться с контрольной и экспериментальной группой. Обычно в них входит одинаковое количество человек. Контрольной группой считаются те пользователи, которые будут видеть новую версию B, а экспериментальной – те, кто будет знакомиться со старой версией A. Важно уточнить и параметры, по которым будут отобраны пользователи. Зачастую поведение посетителей ресурса зависит от того, с какого устройства осуществляется просмотр сайта и в какое время суток происходит взаимодействие. Не игнорируйте географическое положение, пол и возраст юзеров, участвующих в исследовании.
• Убедиться, что распределение версий А и Б будет осуществляться в случайном порядке, а пользователи не будут знать, с каким именно вариантом они взаимодействуют. При этом распределить трафик между двумя вариантами нужно равномерно.
• Установить уровень статистической значимости. Под этим термином понимается процент случайности. Обычно погрешность составляет 0,05. Это значит, что в 5% случаев обнаружение разницы в показателях между старой и новой версии будет обусловлено случайностью, а не тем, что какая –то из них оказалась удобней для пользователя.
• Определиться с размером выборки. Чтобы понять, какое количество пользователей нужно задействовать в тестировании для получения определенных показателей, рекомендуется пользоваться специальными калькуляторами. Их легко найти в сети. Если сервис посчитает, что результаты теста статистически недостоверны, эксперимент придется повторить, увеличив выборку и другие вводные.
• Установить временные рамки. Обычно для получения достоверных результатов нужно не менее недели. Чтобы установить точное время, необходимо разделить общий размер выборки на ежедневный трафик сайта. Полученное число и будет необходимым количеством дней для объективного тестирования.

Шаг 5. Проведение эксперимента

В самом начале применения метода A/В тестирования важно убедиться, что все работает. Однако с оценкой результата торопиться не стоит, как бы этого не хотелось. Дождитесь, пока эксперимент завершится, чтобы провести комплексный анализ полученных данных. Только так выводы будут объективными.

Шаг 6. Оценка результатов

Это наиболее важный этап сплит–теста, который позволяет понять, была ли гипотеза верной. Важно рассчитать значения ключевых метрик для разных версий, и сравнить их между собой. В случае, когда разница незначительна, рекомендуется сегментировать выборку, сделав сравнение результатов по разным сегментам внутри групп: например, по использованию десктопной или мобильной версии, по локализации пользователей, по типам источников трафика.

Если результат очевиден (версия В работает лучше версии А для всех сегментов аудитории, или наоборот), проверьте статистическую значимость. Этот параметр поможет понять, действительно ли на поведение пользователей повлияли определенные изменения на сайте, или такие показатели – эффект случайности или других естественных изменений (например, покупать стали меньше не потому, что вы изменили дизайн сайта, а в связи с общим снижением спроса).

Когда эксперимент не удался: частые ошибки при проведении A/B тестов

Иногда оценить гипотезу не удается, потому что в ходе сплит–теста были допущены ошибки. Чаще всего встречаются следующие недочеты при организации и проведении тестирования:

• Неправильный выбор метрик. Очень важно, чтобы оценка результатов осуществлялась по параметрам, которые действительно играют роль в решении бизнес–задач. Некорректно выбранные метрики могут привести не только к ошибочным выводам, но и сделать изменения в дизайне сайта неэффективными.
• Минимальное количество участников. Достоверность итогов тестирования определяется количеством пользователей, чье поведение подверглось оценке. Небольшая выборка может не отражать реальной картины.
• Неравномерное распределение трафика. Разница в количестве пользователей, входящих в контрольную и экспериментальную группу, негативно влияет на выводы. Кроме того, трафик должен распределяться между группами случайно: так можно избежать искажений полученных данных, вызванных поведением юзеров.
• Некорректная оценка результатов. Задача эксперимента – помочь вам в выборе наиболее оптимальной версии, основываясь на конкретных цифрах и фактах. Часто даже они не являются достаточным аргументом, и в дело вмешивается субъективное мнение дизайнера или владельца сайта. Оценивайте только цифры выбранных метрик, а не собственные вкусовые предпочтения;
• Игнорирование внешних факторов. На результаты экспериментов (как, собственно, и на поведение пользователей), влияет целый ряд факторов: сезонность, время суток, праздники, акции у конкурентов и многое другое. Учитывайте их при проверке гипотез.

Большинство владельцев сайтов игнорируют метод A/B тестирования, считая, что такая проверка слишком трудозатратна. Это связано с функциональностью современных конструкторов сайтов: вручную менять дизайн каждого элемента, чтобы проверить свою гипотезу, слишком долго.

У пользователей Taptop таких проблем не возникает, ведь смена дизайна блоков, заголовков и других частей портала в конструкторе осуществляется при помощи классов – наборов пользовательских стилей, которые значительно упрощают процесс изменения внешнего вида отдельных элементов. Так, если в большинстве конструкторов для тестирования гипотезы придется вручную вносить изменения в каждый элемент, классы в Taptop помогут поменять шрифт и кегль в текстах на портале, изменить дизайн форм или внешний вид кнопок всего за несколько кликов. Подробнее о классах можно узнать в нашей Базе знаний. Экономьте свои время и силы с Taptop!