А/В тестирование на лендинге — это эффектный и эффективный инструмент, направленный на повышение отдачи вашего интернет-ресурса.
При помощи этих тестов увеличивают конверсию посадочных страниц, выбирают эффективные заголовки-объявления для размещения в рекламных сетях, оптимизируют качество поиска.
Мне довольно часто приходится организовывать А/В тестирование на лендинге в самых разных интернет-проектах. В данной статье я поделюсь с вами базой знаний, которая позволит вам проводить А/В тесты и анализировать результаты.
Зачем вообще нужно А/В тестирование на лендинге?
Итак, возьмем, для примера, ситуацию, когда проект запущен и работает. Он собирает трафик, посетители активно используют этот ресурс. И, в один из дней, вы решили что-либо изменить. Например, разместить всплывающий виджет, предлагающий подписаться на рассылку.
Приняв такое решение, вы интуитивно предположили, что посетителям легче станет подписаться на рассылку, и ожидаете прибавления количества подписчиков. Ваше интуитивное предположение основано на вашем личном опыте и взглядах. В то же время, они не обязательно совпадают со взглядами посетителей вашего ресурса.
Иными словами, наши взгляды и гипотезы совсем не обязательно отражают взгляды нашей аудитории. А это может стать камнем преткновения в получении желаемого результата.
Для проверки верности наших интуитивных предположений и проводятся А/В тестирование на лендинге.
Как происходит А/В тестирование на лендинге?
Идея данного тестирования проста. Случайным образом, посетители ресурса делятся на сегменты.
Один из них оставим неизменным — назовем его «Сегмент «А». Данные по «Сегменту «А» позволят нам, путем сравнения, оценить эффект от произведенных изменений.
Вниманию посетителей из другого сегмента («Сегмент «В»), представим измененную, в соответствии с нашим видением, версию ресурса.
Чтобы результат сравнения был статистически значимым, важно отделить сегменты друг от друга, исключить их влияние друг на друга, т.е. один пользователь должен попадать только в один и тот же сегмент. Это осуществляется, например, записью метки сегмента в сookies-файлах браузера.
Для уравнивания влияния на сегменты переменных внешних факторов (день недели, время, сезонность, рекламные кампании и даже погода), важно параллельно, в один период времени, производить замеры в обоих сегментах.
Кроме того, для чистоты результата, важно исключить также и внутренние факторы (действия админов, разработчиков, операторов из call-центра, работа службы поддержки, редакции и т.п. ). В Google Analytics в этих целях можно использовать фильтры.
Конечно, в сегментах не всегда получается соблюсти равенство количества пользователей. Как правило, для этого применяются относительные метрики, т.е. не привязанные к абсолютным значениям количества аудитории.
Для сравнения выбираются нормируемые показатели, либо на число просмотров, либо на количество посетителей. Например, такими метриками могут служить средний чек либо CTR ссылки.
Существенное изменение интерфейса может стать одной из причин непропорционального деления аудитории. К примеру, если вы полностью обновили устаревший дизайн ресурса, добавили всплывающее окно с формой для сбора контактной информации или поменяли систему навигации.
Как показывает жизнь, подобные изменения могут иметь как положительное, так и отрицательное влияние.
Если вы не уверены, что изменение не приведет к резкому оттоку посетителей, то начните с малого. Для начала, сделайте изменения лишь на небольшом участке тестового сегмента. Нет резкого негативного результата? Постепенно увеличивайте размер тестового сегмента.
Что будем улучшать?
Если вы собираетесь улучшать свой ресурс, то, как правило, основные показатели, которые надо оптимизировать, у вас уже есть. Если же нет, — самое время задуматься о них. Как правило, показатели определяются целями и направленностью проекта.
Вот несколько, довольно популярных в интернет-проектах, метрик.
-
Конверсия
Вычисляется, как доля из общего числа пользователей, производивших действия на странице.
Это может быть покупка, заполнение анкеты на посадочной странице, подписка на рассылку, регистрация, клик на блок либо активную ссылку.
-
Экономические метрики
Эти метрики, как правило, используются для интернет-магазинов.
Например, объем выручки, соотнесенный с общим количеством посетителей, средний чек.
-
Поведенческие факторы
К ним относят оценку заинтересованности посетителей при просмотре ресурса. Ключевыми факторами служат:
○ глубина просмотра страниц — число просмотров страниц, соотнесенное с количеством посетителей ресурса;
○ среднестатистическая продолжительность сессии;
○ коэффициент удержания — вычисляется по формуле 1 минус % новых пользователей;
○ цифровой или процентный показатель отказов – доля посетителей, сразу покинувших Ваш ресурс.
Важен одновременный контроль нескольких ключевых показателей.
Например, средний чек может уменьшиться, но увеличится общая сумма выручки за счет увеличения конверсии простого посетителя в покупателя.
-
Анализ полученных результатов
Итак, ключевые показатели обозначены, наш тест запущен, и мы имеем первый результат. Если он совпал с нашими ожиданиями, есть риск поспешно сделать выводы о результатах, а эти выводы могут быть неверными.
Как показывает жизнь, показатели теста могут изменяться с каждым днем, ведь, по сути, мы работаем со случайными величинами. Значит, оценке подлежат лишь средние значения, а для накопления истории средних значений требуется некоторое время.
С течением этого времени назревает следующий вопрос: насколько мы доверяем полученным, в ходе тестов, результатам? Будут ли они такими же при повторном проведении теста?
На картинках, расположенных ниже, вы найдете примеры распределения значений ключевых показателей в сегментах:
Графики распределения отражают, насколько часто та или иная, величина появляется в данной выборке. На примере все значения распределились вокруг среднего.
Обе картинки показаний в сегментах содержат одинаковые средние значения, различаясь лишь разбросом значений.
Из приведенного примера достаточно хорошо видно, что для достоверного результата не достаточно только разности средних значений.
Также необходимо оценивать площадь пересечения распределений. Чем она меньше, тем больше уверенность, что достигнутый эффект от теста значим. В статистике это называется «значимостью результата».
И, как правило, для принятия решения об эффекте изменений, следует руководствоваться лишь при показателе значимости, равным 90% — 95%, или даже 99%. Пересечению распределений, соответственно, достанется 10% — 5%, или даже 1%.
При невысоком показателе значимости, существует риск ошибочных выводов о результате произведенных на ресурсе изменений.
Несмотря на важность данного показателя, зачастую, в отчетах по А/В тестам забывают указать, при каком же уровне значимости был зарегистрирован результат.
Кстати, статистика показывает, что около 8 из 10 А/В тестов не являются статистически верными и значимыми.
Следует отметить, что чем больший объем трафика в рассматриваемых сегментах, тем меньший разброс среднесуточных показателей вы увидите.
И наоборот, при небольшом трафике, из-за разброса значений случайных величин, нужно больше времени для качественного эксперимента. Хотя это, однозначно, лучше, чем не проводить эксперимент вовсе.
Как дать оценку значимости полученного результата?
В математике для этого есть целый раздел, получивший название «проверка статистических гипотез». Гипотез две — нулевая и альтернативная.
Первая предполагает незначительную разницу средних значений показателей в сегментах. Вторая, альтернативная, предполагает значительную разницу.
Чтобы проверить эти гипотезы, есть некоторое количество статистических тестов, которые зависят от характера показателя, который мы измеряем.
Если проверяются среднесуточные значения, а это общий случай, вполне подойдет тест Стьюдента. Он хорошо зарекомендовал себя при работе с небольшими объемами данных, т.к. принимает во внимание размер выборки при оценке значимости.
Ниже, в качестве примера, приведу сравнение средней длительности сессии, которое я проводил для ресурса studentttest.xls. 
Тест Стьюдента — универсальный инструмент. Он подходит как для оценки конверсии, так и для измерений количественных значений. Таких, например, как время, проведенное на сайте, средний чек или средняя глубина просмотра.
При измерении только конверсии, вы работаете с бинарной случайной величиной. Она имеет лишь два значения — «сконвертировался» посетитель или «не сконвертировался». Статистическую значимость в таком случае можно вычислить при помощи онлайн калькулятора.
Инструменты
Какие же инструменты позволяют организовать данный тест? Как разместить посетителей по сегментам и вычислить ключевые показатели, в каждом сегменте, по отдельности?
Все зависит от ваших ресурсов и возможностей. Если они позволяют, инструмент можете реализовать самостоятельно, анализируя логи действий аудитории. Если же возможности ограничены, есть смысл воспользоваться сторонним инструментом. Например, Google Analytics. Там вы найдете возможность задавать пользовательские сегменты.
Полная автоматизация процесса тестирования обеспечивается рядом сервисов. Например, тот же Google Analytics Experiements. Примеры других сервисов можно найти в обзоре.
