A/B ТЕСТИРОВАНИЕ ДЛЯ ПРОДАКТА

Самое важное – это применять эксперименты там, где они действительно нужны. Это самый точный, но при этом дорогой способ проверки продуктовых гипотез.

Что ты узнаешь:
→ Что такое A/B тест
→ Продуктовая гипотеза в основе теста
→ Альтернативные способы принятия решений
→ Волшебство рандомизации
→ Плюсы и минусы А/B тестов

Вчера конверсия была 1.5%, а сегодня 3.2%, хотя мы ничего не меняли. Как случайность проявляется в данных, и почему продакту важно иметь навыки работы со случайными величинами.

Что ты узнаешь:
→ Что такое выборка и генеральная совокупность
→ Как интерпретировать наблюдения сделанные на выборке
→ Сколько наблюдений достаточно?
→ Доверительные интервалы
→ Использование ДИ для принятия решений

Отвечаем на вопросы по ранее изученным темам

Для продакт-менеджера A/B тесты примерно как автомобиль: не нужно досконально знать устройство инжектора или катализатора, чтобы доехать до офиса. Но нужно понимать, чем тормоз отличается от газа, где включаются фары и от чего зависит тормозная дистанция. Давайте разберемся с теми параметрами, которыми управляет ПМ.

Что ты узнаешь:
→ Что такое статистический тест
→ Статистическая гипотеза эксперимента
→ Интерпретация результатов
→ Ошибки первого и второго рода
→ Расчет мощности тестов на практике

Первая практическая задача, с которой сталкивается продакт менеджер, – как определить, как долго нужно проводить эксперимент, чтобы можно было сделать правильные выводы. На самом деле, эту задачу приходится решать не только для тестов, которые ты собираешься запускать. Быструю оценку длительности лучше делать еще на этапе приоритизации гипотез.

Что ты узнаешь:
→ Что такое статистическая мощность теста
→ Как рассчитать длительность теста
→ Что такое наблюдаемая p_value
→ Как продакты рассчитывают длительность тестов на практике

Отвечаем на вопросы по ранее изученным темам

Почему клики или CTR – это почти всегда плохая целевая метрика. Что такое каннибализация, и как она влияет на анализ результатов эксперимента.

Что ты узнаешь:
→ Целевая метрика A/B теста
→ Самосбывающиеся пророчества и другие ошибки при выборе целевой метрики
→ Вспомогательные метрики
→ Контрольные метрики, "случайные" открытия и ложноположительные результаты
→ Протокол принятия решений по результатам теста

Не все метрики одинаково полезны. Некоторые из них гораздо лучше подходят для A/B тестирования просто за счет технических параметров распределения.

Что ты узнаешь:
→ Как статистический шум влияет на мощность теста
→ Какие распределения метрик лучше всего подходят для экспериментов
→ Что можно сделать, если целевая метрика имеет неудачно распределение
→ Какие еще свойства метрик могут быть важны при экспериментировании

Самое важное из практического опыта, лайфхаки. Инновационные подходы, которые позволяют повысить чувствительность экспериментов при определенных условиях.

Что ты узнаешь:
→ A/B/C/D многовариантные тесты и их мощность
→ Сколько тестов можно проводить одновременно и как это делать?
→ Тест на "не ухудшение" метрики
→ Как и зачем решать "проблему подглядывания"? (Sequential and Bayesian testing)
→ Можно ли как-то ускорить эксперимент? (CUPED)
→ Что такое "сетевые эффекты", "эффект новизны" и другие подводные камни тестирования

Мы изучили тонкости работы с метриками, теперь нужно разобраться в том, как принимать решение по результатам А/Б теста. Это может быть не так очевидно, как кажется на первый взгляд. Мы разберем возможный алгоритм принятия решений и попрактикуемся на примерах из индустрии.

Что ты узнаешь:
→ Протокол принятия решения по результатам эксперимента
→ Жизненный цикл эксперимента
→ Что делать если результаты противоречивы
→ Шаги после окончания эксперимента

Посмотрим, как все изученные темы соединяются при проектировании и проведении эксперимента. Обсудим, какие инструменты можно использовать в разных ситуациях.

Что ты узнаешь:
→ Жизненный цикл эксперимента
→ Чек-лист запуска эксперимента
→ Как эксперимент выглядит в коде
→ Мониторинг состояния эксперимента
→ Почему не нужно проверять больше одной гипотезы за раз

Подводим итоги курса. Полируем и систематизируем полученные знания. Рассмотрим имеющиеся коммерческие системы на рынке.

Что ты узнаешь:
→ Подведем итоги обучения
→ Составим чеклист по выбору системы для проведения А/Б тестов
→ Посмотрим, какие примеры коммерческих систем и внутренних систем IT-гигантов есть на рынке
→ О чем нельзя забывать при интеграции с внешними системами, а когда есть смысл рассчитывать эксперименты самому

Обучаться A/B тестированию эффективнее с базовым пониманием продуктовой аналитики. Если ты еще не разобрался в продуктовых метриках и аналитике, рекомендуем начать с курса "Аналитика и SQL для продакта".

Нет, не надо. Мы даем вводную теорию, много дополнительных материалов, а задания построены с плавным увеличением сложности. Но если у тебя нулевой опыт, то потребуется больше времени и усилий. Менторы на связи в чате и на еженедельных звонках - всегда готовы ответить на вопросы и помочь студентам.

Конечно! Все наши выпускники сразу становятся VP и CEO в топовых компаниях :) А если серьезно, то основная наша цель при выборе кейсов (или примеров) - это показать, что продукты и проекты бывают очень разными.

Не все есть интернет-магазин, не все укладывается в AARRR метрики, не для всего используется Яндекс.Метрика и т.д. Но это очень сложно понять, если работаешь над одним продуктом 5 лет и проходишь курсы, повторяющие твои уже существующие знания.

Это все осложняется механизмом работы нашего мозга, которому всегда все понятно (об этом есть великая книжка от нобелевского лауреата, который любой продакт обязан прочитать).

Поэтому в наших курсах мы пытаемся сломать твой идеальный мир, где продукт - это всегда "сайтик", пользователи рассказывают на кастдеве свои мечты, а приоритизация - это рациональный выбор по формуле. Мы рассказываем про продукты, которые вообще не сайтик (например, чат-сервис или платформа такси), показываем случаи, когда продакт говорит пользователям, что им надо (а не наоборот) и делимся факапами выбора, с которыми мы сталкивались.

Так мы создаем противоречие в твоей голове, которое превращается в знание, а потом - в насмотренность. И вот уже это все ты сможешь конвертировать в скилл, а лет через 7 (сорян) труда - и в роль VP и CEO большой компании.

ProductDo больше похож на частный лицей посреди общеобразовательных школ: у нас преподают успешные продакты и мы ставим на практику и уникальные навыки для небольших групп.

Конечно, все учат примерно одной и той же базе (продакт менеджмент - не квантовая физика), и дело, как обычно, в деталях.

Первое: у нас есть опыт в глобальных продуктах. У кого ты бы хотел учиться программированию: девелопера Google или ООО «ЭлТехПлюс»?

Второе: домашнюю работу ты будешь выполнять в мощной программе-симуляторе, таких на рынке немного, а многие просто называют обычный курс «симулятором» или «тренажёром». Симулятор ProductDo – «трушный», а не просто модное слово для старого подхода.

Третье: мы не ставим на поточность и не набиваем группы по 100 человек. ProductDo сделан не для заработка, а ради кайфа делиться опытом.

Наконец, мы обучаем уникальным навыкам (Data driven PM, Tech PM, ML PM, Growth PM, A/B testing for PM) - именно эти "надстройки" делают из новичков профи.

В дополнение к живым практическим лекциям мы построили сценарную игру, чтобы студенты могли закрепить знания на практике. Представь себе, что пишет CEO, или система сломалась, или коллега Jr. PM просит помощи посчитать OKR-ы - вот в это все можно будет погрузиться как часть домашней работы. По сути студенты проживают параллельную лекциям жизнь в симуляторных кейсах.

Симулятор - то много лет нашего опыта и факапов, сжатых в концентрированные истории. Бесценная прокачка!

Мы помогаем тем, что даем кучу практических задач, делимся факапами (то есть опытом) и учим выстоять питч и интервью. Более того, мы построили уже столько продуктов, что своими примерами сможем помочь тебе сформулировать твою область (по-техничнее или по-платежнее, связанную с ML/AI, или с продажами и т.д.). Мы верим, что хороший продакт сам выбирает любимый продукт и за ручку его водить не надо.

При этом, мы с удовольствием зареферралим лучших студентов в наши компании - нам всегда нужные хорошие продакты. Опять же, тому, кто старался, мы готовы написать развернутое рекомендательное письмо и дать сертификат о прохождении всех челенджей (а их у нас много).

Сейчас спрос на руководителей продуктов такой, что уже с базовыми навыками (и пониманием точек роста!) ты можешь получать 80000руб+ в России и 4000eur+ в Европе (да, это не опечатка). Главное - стараться.

Вся история прохождения симулятора с комментариями и ответами сохраняется. Доступ к материалам остается навечно. Рестарт - сброс прогресса обучения не делаем: все как на работе, учимся на ошибках.

Да, студенты, которые успешно закончили курс, могут сгенерировать в личном кабинете сертификат на английском языке и красиво вонзить его на LinkedIn (в разделе Licenses & certifications) или в Facebook (в разделе школ).

Но, обратите внимание, что при приёме в продуктовую компанию сертификаты курсов не увеличивают шансы кандидата, по крайней мере в нашей практике такого не случалось ни разу. Если в резюме есть упоминание курса, то это может вызвать вопросы про то, что кандидат действительно знает прямо сейчас. Поэтому нужно решать задачи и развивать навыки, а не гнаться за "корочками". К счастью, на наших курсах практики хватает.

Если по какой-то причине программа не подойдет, можно перейти на другой курс или вернуть деньги.

Можешь быть уверен в качестве материала и экспертности менторов. Мы много лет учим студентов известных школ (Laba, ProductStar, Geekbrains, Otus) и выпустили несколько тысяч счастливых продактов. В один момент мы решили сделать программу круче для студентов: объединили опыт четырех успешных продактов, добавили больше практики и взаимодействия со студентом, создали мощный симулятор. Теперь у нас свой лицей для продактов.