跳到主要内容

Как создать эксперимент

Чтобы создать эксперимент:

  1. Откройте Remote Config.
  2. Выберите приложение.
  3. Перейдите во вкладку A/B эксперименты.

  1. Нажмите Добавить эксперимент. Откроется страница создания эксперимента.

Основная информация

  1. Укажите название эксперимента.
  2. Заполните цель эксперимента.
  3. Укажите информацию об изменениях в тестовых группах.
  4. Заполните поле Описание.
警告

Поля Название и Описание обязательны для заполнения.

img

Целевые метрики

  1. Нажмите img, чтобы добавить метрики.
备注

Вы можете добавить неограниченное количестов метрик, на которые вы хотите повлиять в эксперименте.

  1. Начните вводить название в поисковом поле и выберите нужную метрику из выпадающего списка.

  2. Задайте целевое значение метрики в %.

注意

При добавлении метрики обязательно укажите целевое изменение.

Чтобы уменьшить значение, установите процент со знаком "-".

При добавлении целевого значения минимальная продолжительность эксперимента будет пересчитана.

Процент

  1. Укажите сегмент пользователей. Вы можете выбрать один из следующих способов сегментирования:
  • Сегментируйте пользователей по модели устройств или по аккаунтам, если в вашем приложении предусмотрено несколько способов регистрации (например, по номеру телефона и по VK ID).

  • Используйте параметр Salt, чтобы раскатить изменения на разные не пересекающиеся группы пользователей:

  • значение параметра закрепляется за указанными персентилями пользователей. Это происходит даже в том случае, если значение остаётся пустым.

Например, вы указали значение Salt 1 для эксперимента на 5% пользователей, выбрав 10-15 персентилей. При создании нового эксперимента, уже на 10% пользователей, вы можете указать значение 2 и изменить персентили, чтобы аудитория двух экспериментов не пересекалась.

  • параметр должен быть заложен в коде приложения, чтобы его можно было использовать в ходе эксперимента.

  • если значение Salt будет общим для разных экспериментов, их аудитории могут пересекаться. Вы можете проверить, какие настройки уже используются в других экспериментах. Для этого нужно ввести значение Salt и система подсветит персентили из других экспериментов.

Варианты

Создание нового параметра

  1. Нажмите img, чтобы добавить параметр.

  2. Начните вводить название в поисковом поле и нажмите Добавить параметр test, где test — имя параметра.

Подробнее о создании параметров можно прочитать в разделе Управление параметрами в RuStore Remote Config.

Добавление параметра

Начните вводить название в поисковом поле и выберите параметр из выпадающего списка.

Дополнительные условия

  1. Нажмите Добавить и выберите тип таргетирования из выпадающего списка.
img

Даты эксперимента и расчет длительности

  1. Выберите дату начала эксперимента, окончания вовлечения пользователей в эксперимент и завершения эксперимента. Продолжительность эксперимента пересчитывается при добавлении целевого значения.
备注

Дата, которую вы укажете в поле Вовлекать до, нужна для обозначения границ расширения аудитории эксперимента. После её наступления новые пользователи не будут видеть изменения в рамках эксперимента.

  1. Нажмите Создать.

Эксперимент сохранится со статусом Pending.

提示

Для метрик со свойством Критическая (Critical) в расчете длительности эксперимента автоматически учитывается время на фиксацию статистически значимого изменения этой метрики на указанную долю процента. Подробности об этом свойстве см. в инструкции по созданию метрики.