Перейти к основному содержимому

Как создать эксперимент

Чтобы создать эксперимент:

  1. Откройте Remote Config.
  2. Выберите приложение.
  3. Перейдите во вкладку «A/B эксперименты».

  1. Нажмите «Добавить эксперимент». Откроется страница создания эксперимента.

Основная информация​

  1. Укажите название эксперимента.
  2. Заполните цель эксперимента.
  3. Укажите информацию об изменениях в тестовых группах.
  4. Заполните поле «Описание».
предупреждение

Поля «Название» и «Описание» обязательны для заполнения.

img

Целевые метрики​

  1. Нажмите img, чтобы добавить метрики.
примечание

Вы можете добавить неограниченное количестов метрик, на которые вы хотите повлиять в эксперименте.

  1. Начните вводить название в поисковом поле и выберите нужную метрику из выпадающего списка.

  2. Задайте целевое значение метрики в %.

warning

При добавлении метрики обязательно укажите целевое изменение.

Чтобы уменьшить значение, установите процент со знаком "-".

При добавлении целевого значения минимальная продолжительность эксперимента будет пересчитана.

Процент​

  1. Укажите сегмент пользователей. Вы можете выбрать один из следующих способов сегментирования:

  • Сегментируйте пользователей по модели устройств или по аккаунтам, если в вашем приложении предусмотрено несколько способов регистрации (например, по номеру телефона и по VK ID).

  • Используйте параметр Salt, чтобы раскатить изменения на разные не пересекающиеся группы пользователей:

  • значение параметра закрепляется за указанными персентилями пользователей. Это происходит даже в том случае, если значение остаётся пустым.

Например, вы указали значение Salt 1 для эксперимента на 5% пользователей, выбрав 10-15 персентилей. При создании нового эксперимента, уже на 10% пользователей, вы можете указать значение 2 и изменить персентили, чтобы аудитория двух экспериментов не пересекалась.

  • параметр должен быть заложен в коде приложения, чтобы его можно было использовать в ходе эксперимента.

  • если значение Salt будет общим для разных экспериментов, их аудитории могут пересекаться. Вы можете проверить, какие настройки уже используются в других экспериментах. Для этого нужно ввести значение Salt и система подсветит персентили из других экспериментов.

Варианты​

Создание нового параметра​

  1. Нажмите img, чтобы добавить параметр.

  2. Начните вводить название в поисковом поле и нажмите «Добавить параметр test», где test — имя параметра.

Подробнее о создании параметров можно прочитать в разделе Управление параметрами в RuStore Remote Config.

Добавление параметра​

Начните вводить название в поисковом поле и выберите параметр из выпадающего списка.

Дополнительные условия​

  1. Нажмите «Добавить» и выберите тип таргетирования из выпадающего списка.
img

Даты эксперимента и расчет длительности​

  1. Выберите дату начала эксперимента, окончания вовлечения пользователей в эксперимент и завершения эксперимента. Продолжительность эксперимента пересчитывается при добавлении целевого значения.
примечание

Дата, которую вы укажете в поле «Вовлекать до», нужна для обозначения границ расширения аудитории эксперимента. После её наступления новые пользователи не будут видеть изменения в рамках эксперимента.

  1. Нажмите «Создать».

Эксперимент сохранится со статусом «Pending».

подсказка

Для метрик со свойством «Критическая (Critical)» в расчете длительности эксперимента автоматически учитывается время на фиксацию статистически значимого изменения этой метрики на указанную долю процента. Подробности об этом свойстве см. в инструкции по созданию метрики.