Как создать эксперимент

Чтобы создать эксперимент:

1. Откройте Remote Config.
2. Выберите приложение.
3. Перейдите во вкладку A/B эксперименты.

4. Нажмите Добавить эксперимент. Откроется страница создания эксперимента.

Основная информация

1. Укажите название эксперимента.
2. Заполните цель эксперимента.
3. Укажите информацию об изменениях в тестовых группах.
4. Заполните поле Описание.

предупреждение

Поля Название и Описание обязательны для заполнения.

Целевые метрики

1. Нажмите , чтобы добавить метрики.

примечание

Вы можете добавить неограниченное количестов метрик, на которые вы хотите повлиять в эксперименте.

2. Начните вводить название в поисковом поле и выберите нужную метрику из выпадающего списка.

3. Задайте целевое значение метрики в %.

warning

При добавлении метрики обязательно укажите целевое изменение.

Чтобы уменьшить значение, установите процент со знаком "-".

При добавлении целевого значения минимальная продолжительность эксперимента будет пересчитана.

Процент

1. Укажите сегмент пользователей. Вы можете выбрать один из следующих способов сегментирования:

• Сегментируйте пользователей по модели устройств или по аккаунтам, если в вашем приложении предусмотрено несколько способов регистрации (например, по номеру телефона и по VK ID).

• Используйте параметр Salt, чтобы раскатить изменения на разные не пересекающиеся группы пользователей:

• значение параметра закрепляется за указанными персентилями пользователей. Это происходит даже в том случае, если значение остаётся пустым.

Например, вы указали значение Salt 1 для эксперимента на 5% пользователей, выбрав 10-15 персентилей. При создании нового эксперимента, уже на 10% пользователей, вы можете указать значение 2 и изменить персентили, чтобы аудитория двух экспериментов не пересекалась.

• параметр должен быть заложен в коде приложения, чтобы его можно было использовать в ходе эксперимента.

• если значение Salt будет общим для разных экспериментов, их аудитории могут пересекаться. Вы можете проверить, какие настройки уже используются в других экспериментах. Для этого нужно ввести значение Salt и система подсветит персентили из других экспериментов.

Варианты

Создание нового параметра

1. Нажмите , чтобы добавить параметр.

2. Начните вводить название в поисковом поле и нажмите Добавить параметр test, где test — имя параметра.

Подробнее о создании параметров можно прочитать в разделе Управление параметрами в RuStore Remote Config.

Добавление параметра

Начните вводить название в поисковом поле и выберите параметр из выпадающего списка.

Дополнительные условия

1. Нажмите Добавить и выберите тип таргетирования из выпадающего списка.

Даты эксперимента и расчет длительности

1. Выберите дату начала эксперимента, окончания вовлечения пользователей в эксперимент и завершения эксперимента. Продолжительность эксперимента пересчитывается при добавлении целевого значения.

примечание

Дата, которую вы укажете в поле Вовлекать до, нужна для обозначения границ расширения аудитории эксперимента. После её наступления новые пользователи не будут видеть изменения в рамках эксперимента.

2. Нажмите Создать.

Эксперимент сохранится со статусом Pending.

подсказка

Для метрик со свойством Критическая (Critical) в расчете длительности эксперимента автоматически учитывается время на фиксацию статистически значимого изменения этой метрики на указанную долю процента. Подробности об этом свойстве см. в инструкции по созданию метрики.