Как посмотреть результаты эксперимента

caution

Посмотреть результаты эксперимента можно, если он в статусе Running, Stopped или Finished.

1. Откройте Remote Config.
2. Выберите приложение.
3. Перейдите во вкладку A/B эксперименты.
4. Выберите нужный эксперимент из списка.
5. В меню действий выберите Результаты.

Откроется страница с результатами эксперимента, на которой можно просмотреть:

• Описание эксперимента.
• Данные по прокрасам метрик.
• Результаты по метрикам со свойствами Всегда отслеживаемые (Always Tracked) или Критическая (Critical). Подробности об этих свойствах см. в инструкции по созданию метрики.

note

Если по определенному типу не была заведена метрика, то этот тип метрики отображаться не будет.

6. (Опционально) Нажмите Скачать результат, чтобы получить результат эксперимента в форме таблицы в формате CSV.

Как работать с метриками?

В зависимости от задачи эксперимента вы можете:

• Изменить параметр «Альфа». После изменения параметра табличная часть с метриками перестраивается и некоторые прокрасы могут измениться. Альфа влияет на точность прокраса метрики. Чем меньше значение, тем больше можно быть уверенным в прокрасе.
• Изменить контрольный вариант. На странице результатов можно сделать любой из вариантов контрольным (кроме используемых в эксперименте). Это повлияет на табличную часть с метриками: все варианты будут сравнены с выбранным контрольным вариантом.
• Просмотреть статистически значимые изменения (количество метрик, изменения которых можно считать статзначимыми) и, возможно, ложные прокрасы (участвуют в расчёте количество вариантов, количество метрик и Альфа). Чем больше у вас вариантов и метрик, тем ниже точность результата прокраса метрики. Если значение возможных ложных прокрасов находится в десятых (0.1), а значение статзначимых в целых (4), то прокрасы можно считать значимыми с большой степенью вероятности.
• Ознакомиться с детальными данными по определённой метрике (доступно для всех вариантов, кроме контрольного: для него доступны только данные по числителю, знаменателю и итоговому значению метрики):
  • Сырые данные в числителе и знаменателе формулы, по которой считается метрика;
  • Статистический тест, используемый для метрики;
  • P-value;
  • Значение Альфа, установленное в настройках результатов пользователем. Это значение определяет вероятность ошибки при прокрасе метрики. Значение P-value должно быть меньше, чем Альфа, чтобы изменения в метрике можно было считать статзначимыми.
  • Доверительный интервал. Чем больше Альфа, тем шире доверительный интервал. Например, при Альфа 0.01, изменение метрики находится в указанном доверительном интервале с вероятностью 99%.
  • MDE — минимальный детектируемый эффект. Показывает минимальное изменение значения метрики, которое уже можно считать стат значимым. Если MDE существенно ниже изменения метрики, эксперимент можно приостановить. Чем меньше ожидаемое изменение метрики, тем больше должно быть MDE.
  • При расcчёте доверительного интервала и MDE для метрик с типом Day Funnel, Retention, Proportion используется z-test. Для метрик с типом Hits per Uniqs, Visits per Uniqs, Ratio используется t-test. Мощность стат критерия фиксированная — 0,8.
• Иногда по каким-то метрикам система может проставить прочерк, и при наведении на ячейку выводится ошибка «Не удалось рассчитать метрику». Чаще всего это происходит из-за нехватки данных. Убедитесь, что в знаменателе указано не 0.

Виды тестов для метрик

Тип метрики	Тест	Комментарий
Day funnel	z-test
Retention
Proportion
Ratio	Линеаризированный	t-test
Hits per uniqs	Mann Witney t-test	В случае с 2 тестами, если хотя бы по одному из тестов P-value будет выше, чем Альфа, то система отобразит статзначимое изменение метрики.
Visits per uniqs