Продуктовые эксперименты в воронке сим-карты

Результаты

Три эксперимента привели к трём разным продуктовым решениям

1 · Авторизация53,9% CR

CR в корзину

Раскатали на 100%

2 · Доставка+5,3 п.п.

CR в абонента

Тест подтвердил рост

3 · Финальный экран−5,3 п.п.

CR в абонента

Не раскатили

Контекст

Оформление сим-карты — один из ключевых сценариев подключения нового абонента СберМобайла

Путь к подключению

Пять шагов сценария · три точки эксперимента отмечены коралловым

Анимация оформления на десктопе: выбор тарифа, авторизация, полная прокрутка корзины и заказ

1Выбор тарифа
2АвторизацияТест 1 ↗
3Корзина
4ДоставкаТест 2 ↗
5ЗаказТест 3 ↗

На каждом этапе часть пользователей может покинуть сценарий, поэтому вместо большого редизайна всей воронки мы работали точечно: находили проблемные места, формулировали гипотезы и проверяли изменения через A/B-тесты

Вместе с продактом мы провели несколько брейнштормов и сформировали около 52 гипотез, которые могли повысить конверсию в продажу сим-карт. После приоритизации начали последовательно проверять наиболее перспективные из них

1 Обязательная авторизация через Сбер ID

Анализ воронки показал, что часть пользователей прекращала оформление на этапе авторизации и не переходила дальше

Из-за технических ограничений авторизация была обязательным этапом заказа, поэтому убрать её из сценария мы не могли. Мы искали способы снизить барьер и сделать этот шаг менее неприятным для пользователя

Гипотеза

Если сделать авторизацию более знакомой и предсказуемой, больше пользователей продолжат оформление

Что проверили

Мы реализовали несколько вариантов дизайна шага авторизации, в том числе стандартный экран авторизации экосистемы Сбера

Лучший результат показал именно знакомый пользователям экосистемный сценарий

Было: два варианта прежнего экрана авторизации — Нажмите на макет, чтобы рассмотреть его в полном размере

Стало: стандартный экран входа через Сбер ID — Нажмите на макет, чтобы рассмотреть его в полном размере

Что измеряли

Основная метрика — конверсия в переход в корзину после авторизации

Дополнительно смотрели, сколько пользователей проходят авторизацию

≈48–49% → 53,9% +5–6 п.п.

CR в корзину: другие варианты → выбранный сценарий

Оценка для других вариантов рассчитана по разнице в 5–6 п.п. с победителем. Выбранный сценарий раскатали на 100% пользователей

2 Слотовая доставка

В старом сценарии разные варианты курьерской доставки были разделены, а дату и время пользователь выбирал отдельно. Это увеличивало количество действий и усложняло выбор подходящего способа доставки

Гипотеза

Если объединить варианты доставки и показать доступное время в виде готовых слотов, пользователю будет проще завершить оформление, а больше заказов в итоге дойдут до подключения

Что изменили

Мы объединили варианты курьерской доставки в одном сценарии и заменили последовательный выбор даты и времени на готовые слоты Самоката

Пользователь сразу видел доступные интервалы и мог выбрать подходящий вариант непосредственно в корзине

Было: дату и время доставки выбирали последовательно из списка — Нажмите на макет, чтобы рассмотреть его в полном размере

Стало: курьерские варианты объединены, доступны готовые слоты доставки — Нажмите на макет, чтобы рассмотреть его в полном размере

Что измеряли

Основная метрика — конверсия в абонента. Дополнительно смотрели конверсию в оформленный заказ

25,4% → 30,7% +5,3 п.п.

к конверсии в абонента

Новый сценарий показал статистически значимый рост и победил в эксперименте

3 Финальный экран заказа

Не каждое изменение улучшает продукт

После оформления сим-карты пользователь попадал на финальный экран заказа. Мы предположили, что ему может не хватать информации о заказе и дальнейших действиях

Гипотеза

Если сделать финальный экран более информативным и подробнее рассказать о следующих шагах, больше пользователей дойдут от заказа до подключения

Что проверили

Мы сравнили текущий экран с новой версией, где добавили больше информации об оформленном заказе и дальнейших действиях. На уровне макетов новое решение выглядело более полезным и полным, но A/B-тест показал обратный результат

Было: короткий финальный экран заказа — Нажмите на макет, чтобы рассмотреть его в полном размере

Стало: расширенный экран с подробностями заказа и следующих шагов — Нажмите на макет, чтобы рассмотреть его в полном размере

Что измеряли

Основная метрика — конверсия из оформленного заказа в абонента

Дополнительно сравнивали результаты для разных типов доставки

24,1% → 18,8% −5,3 п.п.

к конверсии из заказа в абонента

Гипотеза не подтвердилась, поэтому новый вариант не стали раскатывать в продукт

Что мы поняли

Больше информации ≠ лучше UX. К моменту финального экрана пользователь уже прошёл длинный сценарий и выполнил основное действие. В этот момент ему важнее быстро получить подтверждение успеха и понять следующие шаги, чем изучать большое количество дополнительных деталей

Эффекты для бизнеса

В одной воронке мы закрепили два решения и вовремя остановили третье

Авторизация стала понятнееВыбранный сценарий дал 53,9% CR в корзину, после чего его раскатали на 100% пользователей
Доставка приблизила подключениеСлотовый сценарий повысил конверсию в абонента на 5,3 п.п. в A/B-тесте
Неудачное решение не попало в продуктПодробный финальный экран снизил конверсию из заказа в абонента на 5,3 п.п., поэтому его не раскатили

Что я поняла для себя

Работая с одной воронкой, я убедилась: изменение нужно оценивать не только на отдельном экране, но и по тому, что пользователь делает дальше

Знакомый сценарий снижает барьерВ авторизации лучше сработал привычный пользователям вход через Сбер ID
Меньше действий может быть важнее новых деталейГотовые слоты упростили выбор доставки; подробный финальный экран, наоборот, перегрузил завершение пути
Неподтверждённая гипотеза тоже полезнаТест помог вовремя отказаться от решения, которое ухудшало ключевую метрику