Маркетинговые эксперименты инструментами Google

Когда-то в Google Analytics был славный инструмент под названием «Эксперименты», с помощью которого можно было провести АБ-тест. Инструмент работал просто (точнее, не совсем просто), но был прост в использовании. В основе лежал байесовский подход и модель конверсии на основе биномиального распределения. Инструмент позволял запустить тест с равномерным распределением трафика или распределение методом многоруких бандитов. После завершения эксперимента сам считал показатели конверсии и «шанс побить» — вероятность того, что один вариант лучше другого. А потом Google добавил в Analytics вместо экспериментов Google Optimize и сделал его условно бесплатным, и там больше нет многоруких бандитов. Все равно инструмент очень славный, но есть разнообразные подводные камни, которые не позволяют открыть результаты теста и просто так сказать: «а, вот этот вариант внедряем». Почему нужен еще какой-то ресёрч, если google как бы все посчитал?

Если кратко, то google все посчитал, но в рамках своей модели. А реальность не всегда совпадает с моделью + не всегда байесовский поход не дает осечек. Разберем несколько моментов, зная которые, меньше шансов сделать так себе АБ-тест, который покажет «погоду». Смотрите в следующих сериях (наверное):

  1. Модель конверсии
  2. Байесовский и частотных подход.
  3. Однородность трафика
  4. Считаем шанс побить.
  5. Шанс побить для денег или погрешность денежных показателей (доход и средний чек)
  6. Равномерное распределение трафика и многорукие бандиты.

Отходя немного от математики, давайте в этом посте поразмышляем над гипотезами. По сути, любой тест — это проверка статистической гипотезы. Гипотеза может взяться из трех источников:

  1. Из головы (я маркетолог, я так вижу целевую аудиторию)
  2. Из веб-данных (если долго смотреть в google analytics, то там начинают виднеться зависимости)
  3. Из анализа целевой аудитории, опросов и другой обратной связи с покупателями.

Основная ценность АБ-тестов — в том, что можно в сжатые сроки (по сравнению с обычным маркетинговым исследованием) выяснить что-то новое и статистически значимое о целевой аудитории. В частности, у тестов больше потенциал, чем у анализа текущих веб-данных — в том смысле, что проводя эксперимент, мы занимаем активную роль (меняя «среду обитания») и таким образом можем выяснить факты, которых в прежней среде не выяснили бы никогда.

В целом тесты направлены на одну цель: повысить конверсию веб-ресурса. Обычно говорят о конверсии из посещений в продажи, но иногда эта конверсия растет в следствии того, что выросла конверсия на одном из шагов воронки.

В любом случае, эксперимент направлен на оценку изменения поведения пользователя. А — прежнее поведение, Б — новое поведение. Вопрос: а поведение поменялось? Второй вопрос: как оно поменялось? Конверсия в этом случае будет «мерилом» изменения. И да, тут особо нет ничего о деньгах. Рост денег — следствие.

Из всего этого следует, что чтобы что-то понять из эксперимента, нужно значительное изменение. Значительное изменение возможно только в том случае, если гипотеза изначально могла дать такое значительное изменение. Если могла — гипотезу назовем мощной. Если не могла, то лучшее ее вообще не рассматривать как гипотезу.

Появляется правило: если гипотеза была так себе, эксперимент тоже будет так себе.

Добавить комментарий