Умение грамотно работать с метриками продукта позволяет структурировать работу с продуктом и обозначить направление стратегии. Применяем пирамиду метрик как способ навести порядок и запустить правильные процессы стратегии: осознаем, что делается не так сейчас и в какую сторону идти дальше, формулируем понятные и измеримые цели про свой продукт, соблюдая баланс между интересами пользователей и целями бизнеса.
Цель развития любого продукта - достичь роста, а значит - успеха. При этом важно знать, что сам по себе успех - событие не только вероятностное, но и низкочастотное. К сожалению, на это многие закрывают глаза, наивно полагая, что, например, изменения в проекте, совершенные на этапе простых решений, будут работать и дальше и аналитика будет также давать кратный рост, или что достаточно просто прошерстить данные успешного продукта и можно сразу понять, что надо делать на своем, чтобы прийти к успеху.
Мало того, успех - это еще стохастическое явление, и именно из-за этого возникает основная ошибка у людей, которые начинают что-либо в аналитике искать на тему успеха.
Они думают, что у них есть вся генеральная совокупность, и что развитие событий во всех параллельных вселенных будет вполне себе предсказуемо. Но это не так, что хорошо иллюстрирует пример Нассима Талеба из книги «Одураченные случайностью», где он рассуждает так: «Кто, по-вашему мнению, богач? Долларовый миллиардер, который попал в список Forbs, или ваш стоматолог? Зависит от того, по какой метрике вы смотрите. Если смотреть с точки зрения произведения вероятности зарабатывать столько денег на сумму этих денег, то в действительности-то богаче ваш стоматолог, потому что он почти во всех параллельных вселенных зарабатывает эти деньги, а долларовый миллиардер – только в одной из миллиона вселенных долларовый миллиардер, а во всех остальных он скорее всего бомж”.
Несколько лет назад Маккинзи провел исследование, чтобы ответить на вопрос: какой процент компаний окупает свои вложения в масштабирование аналитики. Инвестиции, которые имеются в виду здесь, – это большей частью инфраструктурные вложения и в том числе зарплата сотрудников. Для исследования взяли 1000 компаний из 13 секторов экономики из 12 разных стран, и нужно отметить, что эти компании были с огромным оборотом – более 1 млрд. долларов в год. Как вы думаете, какой % компаний окупает свои вложения в аналитику? 8%!
Что дает нам это число? Все просто: понимание, что вероятность того, что все, что вы будете делать в аналитике, даже не окупится, равна 92%.
Возникает справедливый вопрос, а как можно тогда применять продуктовую аналитику и данные для достижения успеха? Что нужно сделать, чтобы управлять ростом с помощью данных, как они могут помочь выстроить стратегию максимизации успеха?
Чтобы ответить на эти вопросы, сначала определим успех с точки зрения математики. Сэм Альтман, который был когда-то президентом Y Combinator (акселератор стартапов, имеющий самый большой процент успешности по выпуску из Y Combinator и самые высокие капитализации), во многих статьях дает такое математическое объяснение того, что есть успех: успех – это рост по экспоненте. Попросту говоря, взрывной рост потребления продукта.
Для роста бизнеса мы можем использовать два подхода: проектный и продуктовый. В проектном подходе мы мыслим человеко-часами, потому что каждый проект – это ресурс определенных людей и определенного времени. А в продуктовом подходе мы пытаемся понять, почему пользователь к нам приходит и как сделать так, чтобы он чаще к нам приходил и рекомендовал нас своим друзьям, то есть мы стараемся запустить такие механизмы лояльности, которые возвращали бы пользователя в продукт, и механизмы виральности, которые бы давали в свою очередь реферальность. По сути, в продуктовом подходе мы мыслим потреблением, потреблением в продукте и хотим его размножать, а в проектном подходе мы мыслим человеко-часами, хотим за счет размножения человеко-часов увеличивать свой доход и прибыль бизнеса.
В проектном подходе бизнес будет расти медленнее, чем в продуктовом. При росте доходов мы постоянно будем упираться в пропорциональный ему рост расходов, так как человеко-часы стоят денег. Представим себе экспоненциальный рост компании, например, на количестве сотрудников компании, существует большая вероятность того, что это приведет к хаосу. То есть любая компания, которая экспоненциально выросла по числу сотрудников, потом будет думать, куда же этих всех людей деть, как правило, все такие компании выходят на кассовый разрыв по зарплатам.
В продуктовом подходе этой проблемы нет. Потому что у вас на самом деле издержки на зарплату сотрудников, аренду офисов более менее фиксированные, человеко-часы практически не меняются, они, конечно, растут с размером бизнеса, но не настолько пропорционально, а мы размножаем просто потребление. Причем один пользователь приводит за каждый период времени все больше и больше потребления: он сам продолжает потреблять и еще и другим рекомендует. И механизм этого размножения становится похож на механизм размножения кроликов, который экстраполируется законом Фибоначчи и очень похож на экспоненту.
Однако если обращаться к аналитике за стратегией быстрого роста, то нужно научиться думать про то, как именно нужно размножать потребление клиентов в продукте и понимать, как можно в данных накопать информацию о том, как заставить клиентов продолжать к нам возвращаться и рекомендовать нас своим друзьям. А в этом нам поможет NSM - метрика «полярной звезды» продукта, или North Star Metric. Это как раз та метрика, на которую мы ориентируемся, которая является ключевой для нашего бизнеса и под которую мы подчиняем все процессы.
NSM в контексте продуктовой работы над существующим продуктом – это просто ключевая метрика. А в контексте стартапов, где изначально она родилась, - это исключительно ценностная метрика. Определение NSM – это одна метрика, которая имеет смысл.
Возьмем стартап, который приходит в Y Combinator, что говорит им акселератор – да, мы понимаем, что у вас все плохо, у вас нет еще данных, у вас мало пользователей для статзначимости, у вас нет ресурсов, даже если есть давние пользователи. Но если вы будете считать главную метрику – одну-единственную, которая должна лучше всего измерять ключевую ценность продукта для клиента, только за ней смотреть, научитесь ею управлять, то вы придете к успеху.
NSM - это главная метрика продукта и она может быть по смыслу абсолютно любой, это главная метрика ценности. Она и есть измеримый ответ на вопрос: “Почему клиент не входит к нам в продукт?”. Если мы научимся этим управлять и раскручивать так, что пользователи начнут размножать свое и чужое потребление в нашем продукте как кролики, мы пойдем в рост по экспоненте и придем к успеху.
Однако необходимо понимать, что нет никаких гарантий того, что если вы будете считать NSM, то вы придете к успеху. Это лишь способ максимизировать эту вероятность, и это факт, подтвержденный статистически. Мы можем просто подбрасывать монетку и смотреть, пошел дождь или не пошел, а можем понимать, что, если мы держим над собой и дождь пойдет, то капли на нас не попадут. Здесь примерно так же: NSM на самом деле не просто какая-то случайная история, а это история про то, что мы действительно запускаем механизм размножения потребления продукта.
Упростим традиционный взгляд на продукт с трех сторон (пользователя, рынка, бизнеса): объединим рынок и бизнес в одну историю и получим возможность смотреть на продукт либо со стороны пользователя, либо со стороны денег. Важно научиться переключаться между этими взглядами и понимать, с какой стороны ты сейчас стоишь. Основная проблема большинства продактов, в том, что они думают, что стоят слева, а они стоят справа. То есть когда они думают, что формулируют метрики ценности, то на самом деле формулируют метрики ценности для бизнеса - определяют, что бизнесу надо нарастить, чтобы была монетизация. На взгляд с одной из сторон могут повлиять также такие факторы, как роль в компании: если вы бизнес-топ, то вам надо больше про стратегию бизнеса думать, если вы продакт, дизайнер, аналитик, то безусловно тогда чаще надо вставать на защиту пользователя, или какие-то культурно-природные склонности оценивающего, то есть всегда можно встретить топов - адвокатов пользователей и продактов – отличных знатоков бизнеса. Того же, кто может смотреть на продукт и со стороны пользователя и со стороны бизнеса, то есть вставать на разные стороны и периодически их менять, можно назвать генератором гипотез.
Чтобы понять, на какой стороне стоите вы, достаточно ответить на вопрос: кому это надо, пользователю, чтобы оно росло, или бизнесу? Это поможет вам определиться. Однако при выборе метрик избегайте слабых, метрик “ни то, ни се”. Например, orders per user в доставке еды – зависит от того, в какой пропорции находятся разные сегменты – заказ еды по выходным семьей и заказ в будние дни офисным работником. На нее много что влияет, по ней будет сложно понять, куда двигаться дальше. Как ключевая метрика она не годится, так как она информативна только в процессе препарирования и не понятно, что нужно, чтобы она росла или падала.
Бизнесовые метрики - медленные, они как огромные неповоротливые слоны. Все потому, что любая бизнес-метрика является следствием той причины, что продукт несет ценность. Если мы, например, попробуем с помощью Retention пытаться ценность измерять, то можем, ловя другой сигнал, его неверно интерпретировать. Retention точно будет более медленной метрикой, чем любая другая низкоуровневая, то есть приближенная к клиенту. А значит, если мы будем пытаться конкретно что-то делать с ценностью и смотреть в AB-тесте, что происходит, то имеем высокие риски не увидеть там значимых изменений на Retention, потому что он не очень чувствительная метрика по своему дизайну и в силу того, что на все внешние влияния он реагирует более длительное время. Это хорошо видно, например, в кейсе VK, когда бизнес-метрика на протяжении года росла, но при этом падала метрика ценности, быстрые метрики говорят – мы скоро пойдем вниз, положительную скорость маркетинг задал (активно улучшали рекламу), поэтому мы идем вверх, но ускорение - отрицательное и в какой-то момент вы начинаете лететь вниз опять.
При работе с метриками важно соблюдать баланс, не разделяя однозначно, какие метрики важнее: про пользователей или про бизнес. Как правило, многие начинают с того, что важно вроде бы и то и другое, но заканчивают тем, что бизнес важнее: мы же не хотим продавать рубль за 90 копеек, нам нужно бизнес в авторитете держать. И тогда получается, что с учетом ограничения ресурсов мы всегда будем сваливаться каждый раз в историю, когда мы ТОЛЬКО со стороны бизнеса смотрим на продукт, что в целом неправильно. Возьмем как пример атомную ЭС: быстрая метрика – толщина топливных оболочек – бетонные кольца, которыми окружены стержни, а температура внутри топливного стержня – главная бизнес-метрика. Если мы будем только на эти бизнес-метрики смотреть, то взрывов и разрушений не избежать. Однако нельзя впадать и в другую крайность - увлекаться ростом пользовательских метрик без оценки их влияния на метрики бизнеса: если мы растим метрики качества, нужно обязательно проверить, чтобы метрики верхнего уровня как минимум не падали.
Плюсы пользовательских метрик: измерение конкретики и увеличение вероятности выхода продукта на экспоненту в этом стохастическом процессе. Для определения нужных метрик ценности необходимо ответить на вопрос, какую проблему решают пользователи вашего продукта? Какую проблему решает продукт? Более чем вероятно, что получится выделить сразу список из проблем, и он будет для разных сегментов аудитории, но, как показывает практика, у пользователей обычно есть какая-то одна ключевая боль на текущий момент времени. Что немаловажно, она может трансформироваться с течением времени, и это нормально.
При использовании сингл-трек стратегии мы будем иметь дело с конкретной метрикой полярной звезды под конкретное стратегическое направление, которое мы сейчас качаем. Мы выбираем NSM в данный момент времени под конкретный вектор развития, в зависимости от этапа жизненного цикла будут разные варианты основной метрики. Если ты хочешь достичь product market fit, хочешь, не хочешь, NSM будет связана с качеством и ценностью для пользователя. Когда ты начинаешь переходить в фазу интуитивного роста, то они перейдут в область тех метрик, которые связаны с мультипликаторами ценности, которые мы можем построить. Как только ты переходишь в фазу насыщения, или защиты продукта, утебя NSM становится лояльность, потому что на первое место встанет удержание пользователей.
Чтобы правильно проработать метрики ценности, ищем ответ на вопрос, какую проблему решает пользователь в продукции. На старте всегда будет только гипотеза: проведение глубинных интервью и чтение сессий покупателей, выстраивание гипотезы о ценности помогут получить метрики – кандидаты на роль ключевой метрики ценности. Их уже можно проверить на данных, отсеивая лишние с помощью грамотно заданных вопросов. Как бы много мы не проводили глубинок, пока у нас не будет собственного опыта пользования своим продуктом, гипотеза о ценности будет так себе история. При работе с метриками важно также убирать низкочастотные события, чтобы исключить статистический выброс.
В метриках продуктовой ценности лежат контринтуитивные ключи для роста бизнеса. Очень часто бывает стратегически неясно, что делать, потому что ты находишься внутри ситуации и тебе неочевидно, потому что там есть какая-то эмоциональные привязка, прошлый опыт, который хочется пролонгировать, ведь человек так устроен, он минимизирует удивление в своей жизни и стремится думать, что завтра будет то же, что и вчера. В такой ситуации, когда у нас есть некое больное место, и мы не знаем, как им можно было бы управлять, потому что привычные методы не подходят, в этот момент как раз возникает потребность в некоей системе метрик, потому что система метрик – это декомпозиция. Декомпозиция, которая поможет определить то, что можно сделать прямо сейчас, чтобы закрыть провал, и обозначить потом уже, какие более медленные действия делать, которые направлены на повышение вероятности увеличить бизнес, то есть по сути выработать тактическое и стратегическое решения. В этом случае будет полезна пирамида метрик, которая позволяет декомпозировать, например, бизнес-цели до метрик юнит-экономики.
Пирамида метрик – это про стратегию продуктового развития, когда приходит понимание, как использовать текущие ресурсы, текущую аудиторию, текущий продукт и его немножечко менять, чтобы, как минимум, не падать, и возможно, подрастать. Суть пирамиды простым языком: можно взять и классифицировать все метрики, на которые мы смотрим или хотим смотреть по продукту, по пирамиде и получить MVP–декомпозицию. Метрика должна быть ценностью для продукта и она динамически меняется в зависимости от стадии развития рынка, что подкрепляет пирамида метрик: от бизнеса - вниз.
Что следует из всего вышесказанного? Что пирамида метрик – поможет навести порядок, и это не инструмент стратегии, но при осознанном применении запускает правильные процессы стратегии. Позволяет понять, что делается не так сейчас и в какую сторону идти дальше, сформулировать понятные и измеримые цели про свой продукт. С ее помощью мы можем хотя бы положить рядом пользовательские метрики и бизнес-метрики даже не имея четкой связи между планируемыми изменениями и трансформациями и найти необходимую связь, что является большим плюсом, потому что, действительно, соединение между левым полушарием и правым у компании часто бывает потеряно из-за того, что бизнес-метрики, бизнес-стратегия живут в одной стороне, отдельно. При связывании бизнес-метрик и характеристик качества продукта получим уже часть разработанной стратегии: происходит оценка дальнейшего влияния характеристик продукта, которые мы собираемся прокачать, на бизнес-метрики. Мы осознаем, как поменять характеристики продукта, что мы планируем вложить с точки зрения изменения характеристик качества продукта, для того, чтобы значимо поменять бизнес-показатели.
10 лучших мыслей по пирамиде метрик:
- Успех - вероятностное низкочастотное событие. Чтобы его достичь - недостаточно воспроизвести предыдущий опыт, нужно уметь видеть ориентиры, которые укажут верное направление движения.
- С точки зрения математики успех - это экспоненциальный рост потребления продукта. Продуктовый подход в сочетании с грамотным использованием необходимых метрик позволят быстрее осуществить переход к росту продукта.
- NSM - метрика «полярной звезды» продукта, или North Star Metric. Метрика, на которую мы ориентируемся, которая является ключевой для нашего бизнеса и под которую мы подчиняем все процессы. Правильно ее определив, можно понять, что возвращает пользователя в продукт и что поможет размножить потребление продукта.
- Работа с NSM и ее подсчет не равно гарантированной дороге к успеху. Это лишь способ максимизировать такую вероятность.
- При работе с продуктом нужно уметь смотреть на него как со стороны пользователя, так и со стороны денег - бизнеса и рынка, очень важно научиться переключаться между этими взглядами.
- Бизнесовые метрики - медленные, а пользовательские - быстрые. Любая бизнес-метрика является следствием той причины, что продукт несет ценность пользователю. При работе с пользовательской метрикой всегда нужно учитывать ее долгосрочное влияние на бизнес-метрики.
- При работе с метриками важно соблюдать баланс, не разделяя однозначно, какие метрики важнее: про пользователей или про бизнес. Крайности неизбежно приведут к провалу.
- Плюсы пользовательских метрик: измерение конкретики и увеличение вероятности выхода продукта на экспоненту в этом стохастическом процессе пути к успеху.
- Ключевая ценность продукта может трансформироваться с течением времени, и это нормально. Мы выбираем NSM в данный момент времени под конкретный вектор развития в зависимости от этапа жизненного цикла продукта.
- Применение системы метрик – это своего рода декомпозиция, которая позволяет разобраться, как действовать в ситуации, когда мы не знаем, как ее можно разрешить и как ей можно управлять, потому что привычные методы не подходят.
- Пирамида метрик как способ навести порядок - это не инструмент стратегии, но при осознанном применении запускает правильные процессы стратегии. Позволяет понять, что делается не так сейчас и в какую сторону идти дальше, сформулировать понятные и измеримые цели про свой продукт.
Статья создана на основе материалов выступления Елены Серегиной
(Доступ к видео: https://master-strategy.ru/practicum1)
Чтобы не пропустить следующие статьи подписывайтесь на телеграм канал Стратегической мастерской https://t.me/product_advices
_______________________________
Приглашаем на курс СРО Стратег
Пройдите путь от наведения порядка в управлении продуктом, стратегического управления развитием и запуска новых продуктов, до управления портфелем и внедрения продуктового управления в компании
Подробнее о курсе: https://master-strategy.ru/intensiv
