Перейти к основному содержимому

Подробная информация по результатам эксперимента

В Remote Config можно просмотерть подробные сведения по результатам экспериментов в виде графиков.

  1. Откройте Remote Config.
  2. Перейдите на страницу с результатами эксперимента.
  3. Нажмите на пересечение метрики и варианта.
  4. Во всплывающем окне нажмите «Детальные данные по метрике».

Откроется страница с детальными результатами эксперимента.

Как работать с графиками​

Если в эксперименте было несколько вариантов, вы можете сделать любой из них контрольным.

  1. Разверните поле «Контрольный вариант» и выберите вариант из списка.

  2. Выберите «Вариант для сравнения», чтобы получить детальные сведения сравнения выбранного варианта с контрольным.

  3. Выберите метрику. Подробнее о создании метрик

  4. Настройте параметр «Альфа».

примечание

Чем меньше значение, тем выше уровень точности отображаемых графиков.

  1. (Опционально) Установите временной интервал для просмотра метрик. По умолчанию выбран весь интервал проведения эксперимента.

Минимальный детектируемый эффект (MDE)​

Показывает минимальное изменение значения метрики, которое можно считать статистически значимым.

Изменение тестового варианта к контрольному​

Результаты сравнения выбранного варианта в эксперименте с контрольным вариантом.

Доверительный интервал

Поставьте галочку, чтобы отображать «Доверительный интервал» для контрольного или тестового варианта.

Доверительный интервал показывает, в каком диапазоне расположатся результаты выбранные изменения метрики.

Чем больше значение Alpha, тем шире доверительный интервал. К примеру, при Alpha 0.01, с вероятностью 99%, изменение метрики находится в указанном доверительном интервале.

Доверительный интервал сужается по мере повышения точности эксперимента.

P-Value​

P-value — это вероятность увидеть разницу между двумя группами, если на самом деле они одинаковы.

Может меняться в ходе эксперимента и зависит от его продолжительности и входных данных.

примечание

Эталонное значение составляет 0,05 — это вероятность в 95%, что полученным результатам эксперимента можно доверять. Чем ниже значение, тем выше уровень достоверности результатов эксперимента.

Значения​

Значения — результаты сравнения вариантов, настроенных выше. Рассчитывается ежедневно.