Когда A/B-тест показывает всё и сразу: как выбрать правильное решение

Современные продуктовые A/B-эксперименты редко ограничиваются одной метрикой: в них есть целевые и контрольные метрики, показатели других команд, Core Web Vitals, метрики здоровья и десятки разрезов.
На практике это приводит к ситуации, когда эксперимент показывает множество сигналов, но продуктовое решение остаётся неочевидным.

Доклад основан на личном опыте в Циане, где проводится более 1400 A/B-экспериментов в год, а количество метрик в одном эксперименте нередко достигает нескольких сотен.

В докладе разберём, почему рост метрики не всегда означает рост продуктовой ценности.

Покажу, как выстраивать иерархию метрик: от NSM и продуктовых целей до метрик конкретной гипотезы.

На практических примерах опыта в Циане обсудим, как работать с конфликтующими результатами.
В конце дам практический фреймворк и чеклист, которые помогают принимать взвешенные продуктовые решения после A/B-теста.

О СПИКЕРЕ

Прокопенко Артём — кандидат физико-математических наук с 15-летним опытом в продуктовой аналитике и управлении интернет-рекламой. Он основал несколько стартапов, работал в компаниях Docomo Digital, Ultimate Guitar, а уже более 7 лет работает в Циане, где последнее время развивает платформу A/B-экспериментов

Артем Прокопенко

Циан, Москва
Лид-аналитик платформы экспериментов