Подпишись на наш Telegram-канал. Без рекламы! Только полезная практика для продактов
Close

A/B ТЕСТИрование

Спецкурс
чтобы проводить эксперименты не обязательно знать статистику, но нужно понимать основные принципы тестирования
Уровень
Статус
Длительность
Курс в разработке
Middle/Senior
6 недель
70% практики, групповые кейсы, живое общение и фидбэк PM-а
Симулятор
+
Для кого этот спецкурс?
Выпускникам базового
курса для продактов
A/B тестирование относится к продвинутым темам: далеко не все действующие продакт менеджеры могут рассчитать длительность эксперимента, для вас это возможность выделиться.
Тем, кто хочет в большую компанию
Если вы планируете работать в крупной компании, то скорее всего там применяются A/B тесты и хорошее понимание этого инструмента будет вашим преимуществом.
Тем, кто стремится к точным знаниям
Эксперимент – это единственный способ точно установить, как то или иное изменение влияет на продукт. Если вам ближе математика, чем визионерство, A/B тесты станут вашим основным инструментом.
Почему именно курс от ProductDo?
Такого материала на рынке просто нет. Продактов, которые провели хотя бы десять экспериментов – единицы.
Мы провели больше ста.

Навык

Product manager
Data driven PM
Анализ данных
Excel
SQL + Python
Объем данных
До 10k строк
До 10 mln строк
Знание систем аналитики
Google Analytics
Mixpanel или Amplitude
Продуктовые инсайты
Ставит задачу аналитику
Сам находит ответы
Знание статистики
Помнит базовые концепции
Не дает случайности одурачить себя
Чем наши курсы отличаются от других?
Мы больше похожи на частный лицей среди обычных школ: успешные PM-ы погрузят тебя в продуктовую работу, простым языком объяснят сложные темы, вовлекут в большое количество практических задач и, конечно же, поддержат фидбэком
70% практики
→ практика на уроках
→ практика на симуляторе
→ защита проекта
Живое общение
→ живые воркшопы
→ небольшие группы
→ твои вопросы ментору
→ не заумная атмосфера
Симулятор
→ сценарная игра
→ формат диалога
→ увлекательные кейсы
→ подробный фидбек
Реальные кейсы
→ практикующие ПМ-ы
→ опыт IT-гигантов
→ реальные продукты
→ трушные факапы
Кто будет учить?
Андрей Менде
Действующий Senior Product Manager ML @ Booking.com

  • 11 лет в продакт менеджменте
  • запускал продукты в Yandex
  • преподавал в ProductStar, Laba, Otus


Чему научит: аналитика, A/B тесты, ML для продактов.
Константин Грабарь
Действующий Product Owner (Data Platform) @ Flo

  • 10+ лет в разработке продуктов
  • создал и развивает систему для A/B тестов во Flo
  • имеет опыт работы инженером и аналитиком



Чему научит: аналитика, A/B тесты, работа с данными и построение платформенных продуктов
Как проходит обучение

Расскажем в виде customer journey. Продакты поймут :)

1

Intake-interview

Менторы:

  • Проводят входное мини-собеседование, чтобы понять цели студента, его сильные и слабые стороны по заданным темам

Студенты:

  • Получают первое представление о своих скиллах
  • Выбирают проект, чтобы связать полученные знания с практикой
2

Живые Zoom-уроки раз в неделю в 19:00

Менторы:

  • Рассказывают новую тему и дают практические инструменты
  • Обязательно приводят примеры, как теория выглядит на самом деле в реальных проектах

Урок обычно занимает 1.5 часа + доп. вопросы


Студенты:

  • Решают практические задачи в группе, сразу получают фидбек
  • Задают вопросы преподавателю (по теме или своему проекту)
  • За 6 уроков встречаются с 20+ продакт-ситуациями, требующих размышления и поиска решения
3

Умные домашки

Менторы:

  • По каждой теме выдают домашку: практическое задание на симуляторе жизни продакта
  • Проверяют решение и выставляют оценки

Студенты:

  • Проходят домашку-квест и решают доп. задачи из лекции
  • Получают обратную связь от менторов
  • Всего за курс выполняют 40+ практических упражнений
4
Для желающих: реализация теста

Практика:

  • Чтобы реализовать A/B тест на практике нужна инфраструктура и живой трафик
  • Вместе мы воспользуемся инструментом, доступным любому стартапу: реализуем эксперимент на лендинг странице с помощь Google.Optimize
Программа курса

Каждый урок - это 30% теории и 70% практики, основанные на реальных кейсах PM-а. После новой темы - закрепление материала: погружайся в историю-квест нашего симулятора и применяй знания на практике.

1. Введение в теорию выборочных исследований
Вчера конверсия была 1.5%, а сегодня 3.2%, хотя мы ничего не меняли. Как случайность проявляется в данных, и почему продакту важно иметь навыки работы со случайными величинами.

Что ты узнаешь:
→ Что такое выборка и совокупность
→ Как интерпретировать наблюдения сделанные на выборке
→ Сколько наблюдений достаточно?
→ Доверительные интервалы
→ Использование ДИ для принятия решений

Домашка: расчет доверительных интервалов и принятие решений
2. A/B тестирование цифрового продукта
Самое важное – это применять эксперименты там, где они действительно нужны. Это самый точный, но при этом самый дорогой способ проверки продуктовых гипотез.

Что ты узнаешь:
→ Что такое A/B тест
→ Продуктовая гипотеза в основе теста
→ Альтернативные способы принятия решений
→ Волшебство рандомизации
→ Как A/B тест выглядит на практике

Домашка: правильные и неправильные релизации A/B теста в продукте
3. Статистический тест для интерпретации результатов А/Б эксперимента
Для продакт менеджера A/B тесты примерно как автомобиль: не нужно досконально знать устройство инжектора или катализатора, чтобы доехать до офиса. Но нужно понимать чем тормоз отличается от газа, где включаются фары, и от чего зависит тормозная дистанция. Давайте разберемся с теми параметрами, которыми управляет ПМ.

Что ты узнаешь:
→ Что такое статистический тест
→ Статистическая гипотеза эксперимента
→ Интерпретация результатов
→ Ошибки первого и второго рода
→ Мощность теста Workshop: расчет мощности тестов на практике

Домашка: расчет мощности теста, интерпертация результатов
4. Цель и метрики A/B теста
Почему клики или CTR – это почти всегда плохая целевая метрика, что такое каннибализация и как она влияет на анализ результатов эксперимента.

Что ты узнаешь:
→ Целевая метрика A/B теста
→ Самосбывающиеся пророчества и другие ошибки при выборе целевой метрики
→ Вспомогательные метрики
→ Контрольные метрики "Случайные" открытия и ложно положительные результаты
→ Протокол принятия решений по результатам теста

Домашка: принятие решений по результатам теста
5. Практическая реализация теста
Посмотрим как все темы, которые мы уже обсудили, соединяются когда мы проектируем и проводим эксперимент. Обсудим, какие инструменты можно использовать в разных ситуациях.

Что ты узнаешь:
→ Жизненный цикл эксперимента
→ Чек-лист запуска эксперимента
→ Как эксперимент выглядит в коде
→ Типичные ошибки
→ Мониторинг эксперимента
→ База знаний по экспериментам

Домашка: дизайн экспериментов на кейсах
6. Продвинутые техники тестирования
Квинтэссенция практического опыта и лайфхаки. Инновационные подходы, которые позволяют повысить чувствительность экспериментов при определенных условиях.

Что ты узнаешь:
→ Журнал тестирования и линии экспериментов
→ A/B/C/D многовариантные тесты и их мощность
→ Сколько тестов можно проводить одновременно?
→ Тест на "не ухудшение" метрики
→ Тестирование технических (не-пользовательских) изменений
→ Тестирование ML продуктов

Домашка: симулятор экспериментирования
Цены на спецкурс
В отличие от многих площадок, мы сразу показываем цены (продакты знают, зачем ее скрывать). На наших студентов такие штуки не влияют :)


Сам за себя

45'000 ₽
30'000 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе
От компании
60'000 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе

+ документы для бухгалтерии

+ оплата со счета компании
С ментором

112'500 ₽
6 онлайн-лекций

Практическая реализация теста на Google.Optimize

Отработка принятия решений на симуляторе

+ Боевое интервью

+ 4 часа 1-на-1 менторинга за курс
Предварительная запись

Спецкурс "A/B тестирование" в разработке. Хочешь узнать о старте курса? Оставь свои контакты в нашем TG-чате, кликнув на кнопку ниже. Мы обязательно тебе напишем.

Записаться в TG-чате
У нас учатся
Подпишись на наш Telegram-канал. Без рекламы! Только полезная практика для продактов
Close
Отвечаем на вопросы
Кому подойдет базовый курс? А если я не в IT?
Если коротко, то: IT-специалистам для апгрейда роли/повышения зарплаты, начинающим продактам для практики и предпринимателям для структурирования подхода к развитию своего стартапа. Теперь подробнее:

Наши базовые курсы подойдут специалистам, которые уже так или иначе связаны с миром IT-разработки (маркетологам, программистам, проджектам, тимлидам), которые решили перейти на позицию лидера и определять "что строить", а не только "как". Роль лидера означает большую ответственность, но и новый уровень зарплат (конечно, не в первый день). Базовое понимание IT-терминов позволит IT-специалистам задавать более глубокие вопросы и по окончании курса действительно быть готовыми вести команду.

Навыки продакта будут полезны и тем, кто хочет остаться в должности, но при этом подкачать лидерскую четкость и структурированный подход к проекту.

Курсы будет особенно полезен начинающим продактам, так как поможет связать разносторонние навыки в единую картину и получить очень много практики, которой обычно недостает новичкам. Более того, если у тебя есть желание работать в международной компании, создавать продукты, меняющие мир, то ты по адресу. Нам есть, чем с тобой поделиться.

Кроме того, курс поможет начинающим предпринимателям структурировать раскачку своей идеи. Поскольку продакты - это те же стартаперы, просто под крылом компании, мы учим именно тому, чтобы проект взлетел.

Для далеких от IT людей кус может быть менее полезен, так как его будет сложно применить на практике, а значит получить максимум пользы. Но, упорство двигает горы - так что выбирать тебе.
Кому подойдут спецкурсы? Я осилю без базы?
Продвинутые спецкурсы будут особенно полезны тем, кто прошел базовый курс (а их сейчас много) и понял, что чего-то не хватает. А не хватает понимания и практики: как теоретические идеи превратить в работающие продукты. От продактов ждут результатов, а не теорий.

Также спецкурсы будут полезны уже работающим продактам, которые хотят выделяться среди коллег или стать CPO: повышают и приглашают на крутые проекты тех, кто больше знает о реальном создании продукта, умеет эти знания применять. У них с большей вероятностью взлетит. А такие люди бизнесу дороги!

Кстати, это относится и к проджектам: им спец-курсы помогут структурировать понимание проектов, которые они ведут, а значит, сделать общение со стейкхолдерами более предметным и прокачать умение видеть риски.

Кроме того, спецкурсы помогут желающим перейти в международную или просто большую компанию, в нашей стране или за рубежом. Мы - продакты IT-гигантов и мы знаем, какие скиллы нужны PM-у каждый день. "Experience with Tech/ML/AB-testing" упоминается почти во всех вакансиях Google, Uber, Spotify, Facebook и т.д.

А кейсы правда реальные? Я за пару месяцев сразу стану супер-знающим ПМ?
Конечно! Все наши выпускники сразу становятся VP и CEO в топовых компаниях :) А если серьезно, то основная наша цель при выборе кейсов (или примеров) - это показать, что продукты и проекты бывают очень разными.

Не все есть интернет-магазин, не все укладывается в AARRR метрики, не для всего используется Яндекс.Метрика и т.д. Но это очень сложно понять, если работаешь над одним продуктом 5 лет и проходишь курсы, повторяющие твои уже существующие знания.

Это все осложняется механизмом работы нашего мозга, которому всегда все понятно (об этом есть великая книжка от нобелевского лауреата, который любой продакт обязан прочитать).

Поэтому в наших курсах мы пытаемся сломать твой идеальный мир, где продукт - это всегда "сайтик", пользователи рассказывают на кастдеве свои мечты, а приоритизация - это рациональный выбор по формуле. Мы рассказываем про продукты, которые вообще не сайтик (например, чат-сервис или платформа такси), показываем случаи, когда продакт говорит пользователям, что им надо (а не наоборот) и делимся факапами выбора, с которыми мы сталкивались.

Так мы создаем противоречие в твоей голове, которое превращается в знание, а потом - в насмотренность. И вот уже это все ты сможешь конвертировать в скилл, а лет через 7 (сорян) труда - и в роль VP и CEO большой компании.
А чем вы лучше остальных школ?
ProductDo больше похож на частный лицей посреди общеобразовательных школ: у нас преподают успешные продакты и мы ставим на практику и уникальные навыки для небольших групп.

Конечно, все учат примерно одной и той же базе (продакт менеджмент - не квантовая физика), и дело, как обычно, в деталях.

Первое: у нас есть опыт в глобальных продуктах. У кого ты бы хотел учиться программированию: девелопера Google или ООО «ЭлТехПлюс»?

Второе: домашнюю работу ты будешь выполнять в мощной программе-симуляторе, таких на рынке немного, а многие просто называют обычный курс «симулятором» или «тренажёром». Симулятор ProductDo – «трушный», а не просто модное слово для старого подхода.

Третье: мы не ставим на поточность и не набиваем группы по 100 человек. ProductDo сделан не для заработка, а ради кайфа делиться опытом.

Наконец, на базе этого курса построены продвинутые модули: углубленной аналитики, Tech PM, ML PM, платежи - именно эти надстройки делают из новичков профи.
А кто будет преподавателями?
Мы, трое практикующих продактов Booking.com и Wise, кто уже 7+ лет строят продукты в боевых условиях и учат тому, как «на самом деле», а не как «в теории».

На сайтах школ можно видеть очень именитых спикеров (CPO, Directors, Seniors - команда ProductDo там тоже есть).
Уточните, кто будет вести курс, а не кто когда-то делал записанный доклад или выступит с напутственным словом, хе-хе ;)
А зачем вы выбрали живые онлайн-лекции? Сейчас модно записывать видосики!

Действительно, сейчас появилось множество записанных уроков (причем за очень приличные деньги), и несмотря на красивую обложку, они проигрывают живому преподаванию.


Во-первых, записи создают эффект "рельс" и связанной истории - вроде все понятно и логично, спикер (у которого 10 лет опыта) классно раскатывает кейсы. Это похоже на мотивационные курсы, создающие ощущение понимания, которое ломается при шаге влево с проторенной дорожки (мы это, к сожалению, часто видим на интервью). В наших живых практических курсах ментор постоянно сталкивает учеников с проблемами и задачками, заставляя их кукушку кипеть, а значит - учиться.


Во-вторых, в отличие, например, от программистов, продактам важно общаться, это часть работы. Слушать, спорить, убеждать, задавать вопросы - это 70% дня руководителя. Не очень оптимально готовиться работать вживую, учась на записях или текстах.


В третьих, живой курс за счет практики и фидбека позволяет выстроить в голове студента стройную систему, которую можно потом применять на работе. Записанные лекции или чистые симуляторы хороши, если такая база уже есть, и хочется просто подкачать определенную тему.


Ну и в завершении, слова нашего студента (можно найти в отзывах):


"Большая ценность общения с менторами в живую. Диалоги и ответы на вопросы. Практические задания и разборы работ. + Диплом. Всё сработало как надо🚀🚀🚀. Сразу после курса, с hh у меня было несколько собесов и офферов куда меня были готовы взять Мидлом. Я продолжаю работать и развиваться по Продуктовой лестнице и стремлюсь к позиции Senior. Угадайте к кому я обращусь за прокачкой в следующий раз?"

Что за симулятор? Вы просто хайпите?
В дополнение к живым практическим лекциям мы построили сценарную игру, чтобы студенты могли закрепить знания на практике. Представь себе, что пишет CEO, или система сломалась, или коллега Jr. PM просит помощи посчитать OKR-ы - вот в это все можно будет погрузиться как часть домашней работы. По сути студенты проживают параллельную лекциям жизнь в симуляторных кейсах.

Симулятор - то много лет нашего опыта и факапов, сжатых в концентрированные истории. Бесценная прокачка!
Помогаете с трудоустройством?
Мы помогаем тем, что даем кучу практических задач, делимся факапами (то есть опытом) и учим выстоять питч и интервью. Более того, мы построили уже столько продуктов, что своими примерами сможем помочь тебе сформулировать твою область (по-техничнее или по-платежнее, связанную с ML/AI, или с продажами и т.д.). Мы верим, что хороший продакт сам выбирает любимый продукт и за ручку его водить не надо.

При этом, мы с удовольствием зареферралим лучших студентов в наши компании - нам всегда нужные хорошие продакты. Опять же, тому, кто старался, мы готовы написать развернутое рекомендательное письмо и дать сертификат о прохождении всех челенджей (а их у нас много).

Сейчас спрос на руководителей продуктов такой, что уже с базовыми навыками (и пониманием точек роста!) ты можешь получать 80000руб+ в России и 4000eur+ в Европе (да, это не опечатка). Главное - стараться.
Если я пропущу занятие, будет запись урока? Они доступны после окончания?
Уроки будут доступны в записи, и домашки на симуляторе никуда не убегут.
Я получу сертификат? Можно оформить налоговые вычеты?
Да, успешно закончившим курс ученикам мы генерируем сертификат (на английском и русском), который можно будет красиво вонзить на LinkedIn (в разделе Licenses & certifications) или в Facebook (в разделе школ).

Но, обратите внимание, что при приёме в продуктовую компанию сертификаты курсов не увеличивают шансы кандидата, по крайней мере в нашей практике такого не случалось ни разу. Если в резюме есть упоминание курса, то это может вызвать вопросы про то, что кандидат действительно знает прямо сейчас. Поэтому нужно решать задачи и развивать навыки, а не гнаться за "корочками". К счастью, на наших курсах практики хватает.
А если мне не понравится? Вернете деньги?
Можешь быть уверен в качестве материала и экспертности менторов. Мы много лет учим студентов известных школ (Laba, ProductStar, Geekbrains, Otus) и выпустили несколько тысяч счастливых продактов (смотри отзывы, они настоящие, со ссылками на соц. сети).
В один момент мы просто решили сделать программу круче для студентов, хотя и более трудозатраней для нас: объединили опыт трех успешных продактов, добавили больше практики и взаимодействия со студентом, создали мощный симулятор. Теперь у нас свой лицей для продактов.

Если по какой-то причине программа тебе не подойдет, можно перейти на другой продвинутый спецкурс или подтянуть базовые знания.

Если мы не найдем подходящей для тебя программы, то легко вернем деньги. Сложностей не возникнет.
Такая насыщенная программа! А у меня работа, семья. Успеть все реально?
Материал дается слоями, поэтому ты можешь проходить его в своем темпе.

Уровень 1 - это урок. Тут мы объясняем тему, отвечаем на вопросы и решаем первые задачи. Этого уже достаточно, чтобы понимать, о чем вообще речь и какие инструменты существуют. Урок доступен в записи, так что всегда можно к нему вернуться.

Уровень 2 - домашка (на симуляторе или без него). Ее можно делать в любое время или вообще оставить на потом: она никуда не убежит. Хорошо бы проделать домашки до конца курса, потому что они готовят тебя к дипломной работе. Но ничего страшного не случится, если вернуться к ним после окончания курса. Робот-симулятор не устанет ждать: он у нас умный, входит в положение студентов.

Уровень 3 - дополнительные материалы. Не секрет, что по каждой теме можно закопаться очень глубоко. Поэтому мы делимся со студентами статьями и даже целыми книгами. Их можно изучать еще месяцами и годами после курса - никакой спешки.
Ух, вроде все расписали...
Остались вопросы?
Справа ссылка на чатик, пиши.

Получи практический тест на симуляторе в формате пробного интервью



Записаться на курс
Оплата на сайте доступна после заполнения формы.
 
 
Как тебя найти в Telegram? За один день до начала курса мы добавим всех студентов в telegram-чат.
Записаться на курс
Запишись на курс и получи необходимые документы для оплаты
 
 
Как найти ученика в Telegram? За один день до начала курса мы добавим всех студентов в telegram-чат.
 
С кем связаться по поводу документов?
Записаться на курс
Оплата на сайте доступна после заполнения формы.
 
 
Как тебя найти в Telegram? За один день до начала курса мы добавим всех студентов в telegram-чат.
Интерес к спецкурсу "A/B тестирование"
Заполни форму, чтобы получить уведомление о старте курса
 
 
Как тебя найти в Telegram? Мы добавляем студентов, оплативших обучение, в telegram-чат.