Шанс побить — интерпретация

Как бы ни была прекрасна математика, распределения вероятности, плотности, зависимость и независимость и прочее, и прочее — на практике обычно все сводится к тому, что нужно сравнить две цифры. Желательно быстро, качественно и недорого. Для этого люди и считают шанс побить — вероятность того, что один вариант лучше, чем все остальные. Саму методику расчета можно посмотреть в предыдущей статье.

У людей неподготовленных время от времени встречаются мысли, что при если шанс побить более 50% — то мы с уверенностью можем выбирать выигрышный вариант. Совсем хорошо, если этот шанс побить будет более 75%.

Первый способ отметается сразу. так как в случае с 2 вариантами, один из них «наберет» менее 50%, а второй — более 50%, и так будет независимо от вариантов и чего-либо еще, просто исходя из формулы полной вероятности.

Со вторым способом менее понятно, так как 75% выглядит числом внушительным.  Если рассматривать «на пальцах», а не строго математически, то можно привести следующую интерпретацию, которая хорошо коррелирует с жизнью. Для двух вариантов это выглядит так:

При желании можно сделать и для трех вариантов, хотя это менее наглядно:

Если вспоминать о математическом смысле, то часто полезно обращаться к графику плотностей вероятностей. Предположим, что в эксперименте было три варианта и полученные выборки следующие:

Вариант Достижений цели Посещений Расчетная CV Шанс побить*
1 58 458 12.66% 95.74%
2 35 421 8.31% 2.87%
3 40 501 7.98% 1.39%
При статзначимости 0.9
График для таких данных получится:
Количество посещений и конверсий примерно равное, поэтому горбы тоже примерно равные.
Для сравнения пара примеров. Предположим, что конверсия проигрывающих вариантов ниже примерно в 2 раза — всего 15 и 17 достижений цели соответственно. Тогда:
Как видно, графики плотностей не пересекаются — в этом случае шанс побить у синего варианта 99.99%.
И второй пример. Предположим, что мы догадались, что первый вариант выигрывает и «налили» на него больше трафика (для расчета трафик и достижения цели увеличены в 10 раз). В этом случае расчет CV будет точнее — что выразится в высоте горба. Тем не менее, графики немного пересекаются — шанс побить составляет 98.84%
Для сравнения — так выглядит график с шансом побить 70.6% (что вполне соответствует представлению о «ничего непонятно»).
Ноутбук с калькулятором можно скачать у меня на  git hub
Несмотря на внешнюю простоту инструмента, не стоит забывать о том, что будут и ложные срабатывания. Время от времени хороший шанс побить будут показывать эксперименты, которые после внедрения не показывают хороших результатов. Поэтому рекомендуется после внедрения отслеживать динамику показателей.. и посмотреть про ошибки первого и второго рода. Можно все там же: https://habr.com/ru/company/ods/blog/325416/

 

 

Добавить комментарий