A/B-тест — главный честный способ проверить, влияет ли изменение: он создаёт ту самую «честную базу сравнения» искусственно, случайным разделением.
Пользователей случайно делят на контрольную группу (всё как раньше) и тестовую (с изменением). Рандомизация уравнивает группы по всему остальному — и тогда разница метрик приписывается именно изменению. Заранее фиксируют главную метрику, дополнительные и guardrail-метрики.
Подписочный сервис тестирует новый экран оплаты: 50% видят старый (контроль), 50% новый (тест). Главная метрика — конверсия в оплату; guardrail — отток и обращения в поддержку.
Аналитик проверяет два условия честности: деление действительно случайно, и метрики выбраны до старта, а не после.
Зачем нужна рандомизация в A/B-тесте?