A/B ТЕСТИрование

Спецкурс
чтобы проводить эксперименты не обязательно знать статистику, но нужно понимать основные принципы тестирования
Уровень
Статус
Длительность
Курс в разработке
Middle/Senior
6 недель
70% практики, групповые кейсы, живое общение и фидбэк PM-а
Симулятор
+
Для кого этот спецкурс?
Выпускникам базового
курса для продактов
A/B тестирование относится к продвинутым темам: далеко не все действующие продакт менеджеры могут рассчитать длительность эксперимента, для вас это возможность выделиться.
Тем, кто хочет в большую компанию
Если вы планируете работать в крупной компании, то скорее всего там применяются A/B тесты и хорошее понимание этого инструмента будет вашим преимуществом.
Тем, кто стремится к точным знаниям
Эксперимент – это единственный способ точно установить, как то или иное изменение влияет на продукт. Если вам ближе математика, чем визионерство, A/B тесты станут вашим основным инструментом.
Почему именно курс от ProductDo?
Такого материала на рынке просто нет. Продактов, которые провели хотя бы десять экспериментов – единицы.
Мы провели больше ста.

Навык

Product manager
Data driven PM
Анализ данных
Excel
SQL + Python
Объем данных
До 10k строк
До 10 mln строк
Знание систем аналитики
Google Analytics
Mixpanel или Amplitude
Продуктовые инсайты
Ставит задачу аналитику
Сам находит ответы
Знание статистики
Помнит базовые концепции
Не дает случайности одурачить себя
Error get alias
Кто будет учить?
Андрей Менде
Действующий Senior Product Manager ML @ Booking.com

  • 11 лет в продакт менеджменте
  • запускал продукты в Yandex
  • преподавал в ProductStar, Laba, Otus


Чему научит: аналитика, A/B тесты, ML для продактов.
Константин Грабарь
Действующий Product Owner (Data Platform) @ Flo

  • 10+ лет в разработке продуктов
  • создал и развивает систему для A/B тестов во Flo
  • имеет опыт работы инженером и аналитиком



Чему научит: аналитика, A/B тесты, работа с данными и построение платформенных продуктов
Как проходит обучение

Расскажем в виде customer journey. Продакты поймут :)

1

Intake-interview

Менторы:

  • Проводят входное мини-собеседование, чтобы понять цели студента, его сильные и слабые стороны по заданным темам

Студенты:

  • Получают первое представление о своих скиллах
  • Выбирают проект, чтобы связать полученные знания с практикой
2

Живые Zoom-уроки раз в неделю в 19:00

Менторы:

  • Рассказывают новую тему и дают практические инструменты
  • Обязательно приводят примеры, как теория выглядит на самом деле в реальных проектах

Урок обычно занимает 1.5 часа + доп. вопросы


Студенты:

  • Решают практические задачи в группе, сразу получают фидбек
  • Задают вопросы преподавателю (по теме или своему проекту)
  • За 6 уроков встречаются с 20+ продакт-ситуациями, требующих размышления и поиска решения
3

Умные домашки

Менторы:

  • По каждой теме выдают домашку: практическое задание на симуляторе жизни продакта
  • Проверяют решение и выставляют оценки

Студенты:

  • Проходят домашку-квест и решают доп. задачи из лекции
  • Получают обратную связь от менторов
  • Всего за курс выполняют 40+ практических упражнений
4
Для желающих: реализация теста

Практика:

  • Чтобы реализовать A/B тест на практике нужна инфраструктура и живой трафик
  • Вместе мы воспользуемся инструментом, доступным любому стартапу: реализуем эксперимент на лендинг странице с помощь Google.Optimize
Программа курса

Каждый урок - это 30% теории и 70% практики, основанные на реальных кейсах PM-а. После новой темы - закрепление материала: погружайся в историю-квест нашего симулятора и применяй знания на практике.

1. Введение в теорию выборочных исследований
Вчера конверсия была 1.5%, а сегодня 3.2%, хотя мы ничего не меняли. Как случайность проявляется в данных, и почему продакту важно иметь навыки работы со случайными величинами.

Что ты узнаешь:
→ Что такое выборка и совокупность
→ Как интерпретировать наблюдения сделанные на выборке
→ Сколько наблюдений достаточно?
→ Доверительные интервалы
→ Использование ДИ для принятия решений

Домашка: расчет доверительных интервалов и принятие решений
2. A/B тестирование цифрового продукта
Самое важное – это применять эксперименты там, где они действительно нужны. Это самый точный, но при этом самый дорогой способ проверки продуктовых гипотез.

Что ты узнаешь:
→ Что такое A/B тест
→ Продуктовая гипотеза в основе теста
→ Альтернативные способы принятия решений
→ Волшебство рандомизации
→ Как A/B тест выглядит на практике

Домашка: правильные и неправильные релизации A/B теста в продукте
3. Статистический тест для интерпретации результатов А/Б эксперимента
Для продакт менеджера A/B тесты примерно как автомобиль: не нужно досконально знать устройство инжектора или катализатора, чтобы доехать до офиса. Но нужно понимать чем тормоз отличается от газа, где включаются фары, и от чего зависит тормозная дистанция. Давайте разберемся с теми параметрами, которыми управляет ПМ.

Что ты узнаешь:
→ Что такое статистический тест
→ Статистическая гипотеза эксперимента
→ Интерпретация результатов
→ Ошибки первого и второго рода
→ Мощность теста Workshop: расчет мощности тестов на практике

Домашка: расчет мощности теста, интерпертация результатов
4. Цель и метрики A/B теста
Почему клики или CTR – это почти всегда плохая целевая метрика, что такое каннибализация и как она влияет на анализ результатов эксперимента.

Что ты узнаешь:
→ Целевая метрика A/B теста
→ Самосбывающиеся пророчества и другие ошибки при выборе целевой метрики
→ Вспомогательные метрики
→ Контрольные метрики "Случайные" открытия и ложно положительные результаты
→ Протокол принятия решений по результатам теста

Домашка: принятие решений по результатам теста
5. Практическая реализация теста
Посмотрим как все темы, которые мы уже обсудили, соединяются когда мы проектируем и проводим эксперимент. Обсудим, какие инструменты можно использовать в разных ситуациях.

Что ты узнаешь:
→ Жизненный цикл эксперимента
→ Чек-лист запуска эксперимента
→ Как эксперимент выглядит в коде
→ Типичные ошибки
→ Мониторинг эксперимента
→ База знаний по экспериментам

Домашка: дизайн экспериментов на кейсах
6. Продвинутые техники тестирования
Квинтэссенция практического опыта и лайфхаки. Инновационные подходы, которые позволяют повысить чувствительность экспериментов при определенных условиях.

Что ты узнаешь:
→ Журнал тестирования и линии экспериментов
→ A/B/C/D многовариантные тесты и их мощность
→ Сколько тестов можно проводить одновременно?
→ Тест на "не ухудшение" метрики
→ Тестирование технических (не-пользовательских) изменений
→ Тестирование ML продуктов

Домашка: симулятор экспериментирования
Цены на спецкурс
В отличие от многих площадок, мы сразу показываем цены (продакты знают, зачем ее скрывать). На наших студентов такие штуки не влияют :)


Сам за себя

45'000 ₽
30'000 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе
От компании
60'000 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе

+ документы для бухгалтерии

+ оплата со счета компании
С ментором

112'500 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе

+ Боевое интервью

+ 4 часа 1-на-1 менторинга за курс
Предварительная запись

Спецкурс "A/B тестирование" в разработке. Хочешь узнать о старте курса? Оставь свои контакты в нашем TG-чате, кликнув на кнопку ниже. Мы обязательно тебе напишем.

Записаться в TG-чате
У нас учатся
Отвечаем на вопросы
Кому подойдут спецкурсы? Я осилю без базы?
Продвинутые спецкурсы будут особенно полезны тем, кто прошел базовый курс (а их сейчас много) и понял, что чего-то не хватает. А не хватает понимания и практики: как теоретические идеи превратить в работающие продукты. От продактов ждут результатов, а не теорий.

Также спецкурсы будут полезны уже работающим продактам, которые хотят выделяться среди коллег или стать CPO: повышают и приглашают на крутые проекты тех, кто больше знает о реальном создании продукта, умеет эти знания применять. У них с большей вероятностью взлетит. А такие люди бизнесу дороги!

Кстати, это относится и к проджектам: им спецкурсы помогут структурировать понимание проектов, которые они ведут, а значит, сделать общение со стейкхолдерами более предметным и прокачать умение видеть риски.

Кроме того, спецкурсы помогут желающим перейти в международную или просто большую компанию, в нашей стране или за рубежом.
Мы - продакты IT-гигантов и мы знаем, какие скиллы нужны PM-у каждый день. "Experience with Tech/ML/AB-testing" упоминается почти во всех вакансиях Google, Uber, Spotify, Facebook и т.д.

А кейсы правда реальные? Я за пару месяцев сразу стану супер-знающим ПМ?
Конечно! Все наши выпускники сразу становятся VP и CEO в топовых компаниях :) А если серьезно, то основная наша цель при выборе кейсов (или примеров) - это показать, что продукты и проекты бывают очень разными.

Не все есть интернет-магазин, не все укладывается в AARRR метрики, не для всего используется Яндекс.Метрика и т.д. Но это очень сложно понять, если работаешь над одним продуктом 5 лет и проходишь курсы, повторяющие твои уже существующие знания.

Это все осложняется механизмом работы нашего мозга, которому всегда все понятно (об этом есть великая книжка от нобелевского лауреата, который любой продакт обязан прочитать).

Поэтому в наших курсах мы пытаемся сломать твой идеальный мир, где продукт - это всегда "сайтик", пользователи рассказывают на кастдеве свои мечты, а приоритизация - это рациональный выбор по формуле. Мы рассказываем про продукты, которые вообще не сайтик (например, чат-сервис или платформа такси), показываем случаи, когда продакт говорит пользователям, что им надо (а не наоборот) и делимся факапами выбора, с которыми мы сталкивались.

Так мы создаем противоречие в твоей голове, которое превращается в знание, а потом - в насмотренность. И вот уже это все ты сможешь конвертировать в скилл, а лет через 7 (сорян) труда - и в роль VP и CEO большой компании.
А чем вы лучше остальных школ?
ProductDo больше похож на частный лицей посреди общеобразовательных школ: у нас преподают успешные продакты и мы ставим на практику и уникальные навыки для небольших групп.

Конечно, все учат примерно одной и той же базе (продакт менеджмент - не квантовая физика), и дело, как обычно, в деталях.

Первое: у нас есть опыт в глобальных продуктах. У кого ты бы хотел учиться программированию: девелопера Google или ООО «ЭлТехПлюс»?

Второе: домашнюю работу ты будешь выполнять в мощной программе-симуляторе, таких на рынке немного, а многие просто называют обычный курс «симулятором» или «тренажёром». Симулятор ProductDo – «трушный», а не просто модное слово для старого подхода.

Третье: мы не ставим на поточность и не набиваем группы по 100 человек. ProductDo сделан не для заработка, а ради кайфа делиться опытом.

Наконец, мы обучаем уникальным навыкам (Data driven PM, Tech PM, ML PM, Growth PM, A/B testing for PM) - именно эти "надстройки" делают из новичков профи.
А кто будет преподавателями?
Мы, четверо практикующих продактов Booking.com, Wise, Flo, уже 7+ лет строим продукты в боевых условиях и учим тому, как «на самом деле», а не как «в теории».

На сайтах школ можно видеть очень именитых спикеров (CPO, Directors, Seniors - команда ProductDo там тоже есть).
Уточните, кто будет вести курс, а не кто когда-то делал записанный доклад или выступит с напутственным словом, хе-хе ;)
А зачем вы выбрали живые онлайн-лекции? Сейчас модно записывать видосики!

Действительно, сейчас появилось множество записанных уроков (причем за очень приличные деньги), и несмотря на красивую обложку, они проигрывают живому преподаванию.


Во-первых, записи создают эффект "рельс" и связанной истории - вроде все понятно и логично, спикер (у которого 10 лет опыта) классно раскатывает кейсы. Это похоже на мотивационные курсы, создающие ощущение понимания, которое ломается при шаге влево с проторенной дорожки (мы это, к сожалению, часто видим на интервью). В наших живых практических курсах ментор постоянно сталкивает учеников с проблемами и задачками, заставляя их кукушку кипеть, а значит - учиться.


Во-вторых, в отличие, например, от программистов, продактам важно общаться, это часть работы. Слушать, спорить, убеждать, задавать вопросы - это 70% дня руководителя. Не очень оптимально готовиться работать вживую, учась на записях или текстах.


В третьих, живой курс за счет практики и фидбека позволяет выстроить в голове студента стройную систему, которую можно потом применять на работе. Записанные лекции или чистые симуляторы хороши, если такая база уже есть, и хочется просто подкачать определенную тему.


Ну и в завершении, слова нашего студента (можно найти в отзывах):


"Большая ценность общения с менторами в живую. Диалоги и ответы на вопросы. Практические задания и разборы работ. + Диплом. Всё сработало как надо🚀🚀🚀. Сразу после курса, с hh у меня было несколько собесов и офферов куда меня были готовы взять Мидлом. Я продолжаю работать и развиваться по Продуктовой лестнице и стремлюсь к позиции Senior. Угадайте к кому я обращусь за прокачкой в следующий раз?"

Что за симулятор? Вы просто хайпите?
В дополнение к живым практическим лекциям мы построили сценарную игру, чтобы студенты могли закрепить знания на практике. Представь себе, что пишет CEO, или система сломалась, или коллега Jr. PM просит помощи посчитать OKR-ы - вот в это все можно будет погрузиться как часть домашней работы. По сути студенты проживают параллельную лекциям жизнь в симуляторных кейсах.

Симулятор - то много лет нашего опыта и факапов, сжатых в концентрированные истории. Бесценная прокачка!
Помогаете с трудоустройством?
Мы помогаем тем, что даем кучу практических задач, делимся факапами (то есть опытом) и учим выстоять питч и интервью. Более того, мы построили уже столько продуктов, что своими примерами сможем помочь тебе сформулировать твою область (по-техничнее или по-платежнее, связанную с ML/AI, или с продажами и т.д.). Мы верим, что хороший продакт сам выбирает любимый продукт и за ручку его водить не надо.

При этом, мы с удовольствием зареферралим лучших студентов в наши компании - нам всегда нужные хорошие продакты. Опять же, тому, кто старался, мы готовы написать развернутое рекомендательное письмо и дать сертификат о прохождении всех челенджей (а их у нас много).

Сейчас спрос на руководителей продуктов такой, что уже с базовыми навыками (и пониманием точек роста!) ты можешь получать 80000руб+ в России и 4000eur+ в Европе (да, это не опечатка). Главное - стараться.
Если я пропущу воркшоп, будет запись урока? Они доступны после окончания?
У тебя будет вечный доступ и к записям воркшопов, и к симулятору.
Я получу сертификат?
Да, студенты, которые успешно закончили курс, могут сгенерировать в личном кабинете сертификат на английском языке и красиво вонзить его на LinkedIn (в разделе Licenses & certifications) или в Facebook (в разделе школ).

Но, обратите внимание, что при приёме в продуктовую компанию сертификаты курсов не увеличивают шансы кандидата, по крайней мере в нашей практике такого не случалось ни разу. Если в резюме есть упоминание курса, то это может вызвать вопросы про то, что кандидат действительно знает прямо сейчас. Поэтому нужно решать задачи и развивать навыки, а не гнаться за "корочками". К счастью, на наших курсах практики хватает.
А если мне не понравится? Вернете деньги?
Можешь быть уверен в качестве материала и экспертности менторов. Мы много лет учим студентов известных школ (Laba, ProductStar, Geekbrains, Otus) и выпустили несколько тысяч счастливых продактов (смотри отзывы, они настоящие, со ссылками на соц. сети).
В один момент мы просто решили сделать программу круче для студентов, хотя и более трудозатраней для нас: объединили опыт трех успешных продактов, добавили больше практики и взаимодействия со студентом, создали мощный симулятор. Теперь у нас свой лицей для продактов.

Если по какой-то причине программа тебе не подойдет, можно перейти на другой продвинутый спецкурс.

Если мы не найдем подходящей для тебя программы, то легко вернем деньги. Сложностей не возникнет.
Ух, вроде все расписали...
Остались вопросы?
Справа ссылка на чатик, пиши.

Получи практический тест на симуляторе в формате пробного интервью