Создание
LLM продукта

Вокруг LLM много магии, но всё начинается с промпта. Урок покажет, как правильно «разговаривать» с моделью, чтобы решать бизнес-задачи, а не просто играть в чаты.

В уроке:
→ Как устроен хороший промпт и почему это не «просто текст»
→ Как можно улучшить точность своего промпта: Few-shot Learning
→ Что такое температура LLM и как ей правильно управлять
→ Кейс: классификация обращений в саппорт по темам

Как это выглядит:
→ Учимся писать, тестировать и улучшать промпты под задачу
→ Кейс: заменяем ручную разметку обращений в поддержку на AI

LLM умеет не только вести диалог, но и возвращать структурированные данные, понятные машине. В этом уроке учимся превращать запросы на естественном языке в валидный JSON, чтобы автоматизировать действия в продукте.

В уроке:
→ Зачем моделям структура и почему JSON стал стандартом
→ Как написать промпт, который стабильно выдаёт правильную структуру
→ Что выбрать: few-shots или чёткие инструкции?

Как это выглядит
→ Учимся использовать json-schema, чтобы “включить” у модели режим программиста
→ Кейс: структурируем поисковой запрос пользователя под фильтры в системе

На рынке доступно много моделей, и каждый месяц появляются новые. Урок поможет разобраться, чем модели отличаются друг от друга, и как выбрать ту, которая даст лучший результат для вашего продукта.

В уроке:
→ Чем отличаются GPT-4o, GPT-o3, Claude, open-source модели и зачем это знать
→ На что смотреть при выборе модели: качество, цена, скорость
→ Что влияет на качество, цену и скорость: размер модели, подход к обучению, «способность к рассуждениям»

Как это выглядит
→ Сравниваем, как справляются разные модели и учимся измерять это
→ Кейсы: считаем токены и расходы, сравниваем две модели на реальной задаче

Иногда одна LLM-задача — на самом деле три. В этом уроке учимся проектировать пайплайн: разбиваем задачу на этапы, тестируем каждый отдельно и собираем стабильную систему из простых компонентов.

В уроке:
→ Почему один промпт для всего — плохая идея
→ Что такое LLM-пайплайн и зачем он нужен
→ Как строить роутинг запросов, если у вас несколько сценариев

Как это выглядит
→ Учимся подключать и комбинировать LLM-звенья как LEGO, чтобы получился продукт
→ Кейс: объединяем два сценария — обращения в поддержку и поиск

Когда AI-помощник не даёт детерминированный ответ, а ведёт диалог, обычной проверки «правильно / неправильно» уже недостаточно. В этом уроке учимся выстраивать эвал-процесс: формулируем чёткие критерии качества и автоматизируем разметку.

В уроке:
→ Что такое эвал и как его использовать в сложных LLM-продуктах
→ Как формулировать критерии качества, чтобы их могли оценить и люди, и LLM
→ Как устроен процесс "LLM as a judge" и когда он работает лучше ручной разметки
→ Как собирать и управлять датасетами для тестирования, учитывать дрифт данных

Как это выглядит
→ Учимся «оценивать оценщиков» — настраиваем пайплайн для проверки качества
→ Кейс: собираем бенч и пишем эвал-промпты для AI-помощника по математике, сначала по одному критерию, потом — комплексно

LLM-продукт должен быть не только умным, но и безопасным. В этом уроке разбираемся, как не допустить “чернуху”: учимся выявлять небезопасные темы, формулировать чёткие запреты, работать с серыми зонами и строить эвалы, которые помогают держать продукт в рамках.

В уроке:
→ Как формализовать тему безопасности в LLM-продуктах
→ Как устроен эвал для проверки безопасности и чем он отличается от эвалов качества
→ Как проверять безопасность на проде

Как это выглядит
→ Учимся добавлять проверку в пайплайн: от ключевых слов до пост-процессинга
→ Кейс: собираем эвал безопасности детского AI-помощника по математике

От лидеров ждут результатов, а не теоретических идей. Поэтому цель любого курса - превратить знания в навык, решая много задач и проблем.

А еще студенты отмечают:

• структурный подход обучения (от простого к сложному)
• конкретные инструменты
• полезные дополнительные материалы
• незаезженные статьи разного уровня сложности

Ключевая ценность - иммерсивные задания, которые неотличимы от работы с реальным продуктом. Решая их, ты попробуешь прожить 10+ лет опыта в концентрированной истории.

Что отметили ученики:

• сценарная игра и погружение в увлекательные кейсы
• персонажи из реальной компании: CEO, CTO, Enginering Manager, коллеги-продакты
• формат диалога с разбором ошибок, подробный фидбэк
• самостоятельное прохождение в любое время

Говорят, что это лучший формат, который есть на рынке :)

Продукты созданы для продактов, которые хотят расти: студенты решают такие же практические задачи, с которыми ежедневно сталкиваются опытные PM-ы в международных компаниях. Основная цель при выборе кейсов - показать, что продукты и проекты бывают очень разными. Это сложно понять, если работаешь 5 лет над одним продуктом и проходишь курсы, которые повторяют уже существующие знания.

Что крутого:

• курсы учат применять навыки на работе
• курсы расскажут, как четко структурировать знания в голове
• в любое время можно освежить знания по чек-листу
• если техника не подведет, то доступ к материалам будет неограничен

В курсы вложен опыт, применяемый каждый день: 7+ лет построения продуктов в боевых условиях в таких компаниях как Booking.com, Wolt, Flo.

Что это дает студенту:

• возможность практиковаться на реальных задачах и факапах международных компаний
• посмотреть опыт глобальных продуктов и позадавать вопросы типа «а как там у них это работает?»
• узнать о возможностях вырасти в карьере и попасть в большую компанию

Если коротко:
Все курсы отвечают на немного разные и непересекающиеся вопросы, поэтому некоторые студенты хотят пройти все: начинают с основ, расширяют их "Профессией PM ML", потом "LLM"-курсом и, наконец, приходят на "AI-прототипирование", чтобы посмотреть, на что способны современные LLM-ки с точки зрения автогенерации кода.

А теперь подробнее:

Начинать лучше с “Основ ML”. Там рассказывается база про то, что такое ML, какие задачи он решает хорошо, как их замечать, а где он бессилен. Ну и главное — какая в этом всём роль продакта. Будет полезно всем без исключения (и не только продактам).

Курс “Профессия PM ML” — для тех, кому достался ML-продукт и несколько суровых ML-инженеров. Где брать данные? Как их чистить? Что пойдет не так при запуске? Куда удрейфует модель через месяц? В общем, более продвинутые темы для тех, кому базы уже недостаточно.

Курс “LLM для продакта” — про революционное направление в мире AI, которое набирает обороты в бизнесе. LLM-модели позволяют решать те 5–10% классов задач, где классический ML бессилен или неэффективен (например, анализ текста, генерацию речи, пошаговое мышление). При этом классический ML никуда не исчезнет: задачи оптимизации (например, определение цены) решать LLM-ками довольно бессмысленно.

Курс “AI-прототипирование для продакта” учит делать первые шаги в создании реалистичных прототипов (или даже работающих простых продуктов) без кода: его за тебя пишет LLM-ка. Полезно всем, кто хочет пробовать свои идеи как можно быстрее, а может быть, и запустить простой пет-проект в одиночку.

Кейсы действительно реальные и отражают разнообразие продуктов в отрасли: не все есть "сайтик" или "магазин". В симуляторе «Tech for PM» мы рассмотрим приложение заказа такси (как Uber), сервис музыки (как Spotify) и приложение для доставки еды. В симуляторе «A/B-тестирование» мы погрузимся в эксперименты над в сервисом Медитации, а в «Product Discovery» разберем бизнес по аренде одежды.

Чем больше кейсов ты решаешь (а не просто читаешь/смотришь), тем более опытным продакт-менеджером становишься. По-другому никак.

Одна из отличительных фишек ProductDo – это курсы, упакованые в формат симуляторов. Симулятор как инструмент обучения имеет множество замечательных свойств:
- требует постоянного активного участия студента – чтобы двигаться вперед нужно каждый раз выбирать какое-то действие или отвечать на вопрос
- позволяет дать развернутый фидбэк на любое действие: можно со ссылками и примерами обосновать предпочтительный вариант
- позволяет двигаться в своем темпе и не нагружает лишним общением тех, кто не очень любит работать в группе.

Обычно преподают так: теория → практика. Если ты хорошо усвоил теорию, то практику ты делаешь на 100% или около того. У ProductDo совсем другая методика. Мы начинаем с практической задачи, которую надо решить (и если курс тебе подходит, то ты еще не знаешь, как это делается). И только когда ты попробовал решить задачу, курс подводит под нее теорию. Авторы верят, что цикл: попытка подумать самостоятельно → принятие решения → фидбэк на решение является очень эффективным способом освоить новый материал, особенно для тех, кто уже достиг некоторого профессионального уровня.

Если ты хочешь попробовать формат симулятора, пройди бесплатный урок. В нем собраны вопросы из разных областей продакт-менеджмента. Заодно можно оценить какие скилы у тебя уже достаточно прокачаны, а какие можно еще усилить.

ProductDo помогает тем, что дает кучу практических задач, делится факапами (то есть опытом) и учит выстоять питч и интервью. Более того, авторы построили уже столько продуктов, что своими примерами смогут помочь тебе сформулировать твою область (по-техничнее или по-платежнее, связанную с ML/AI, или с продажами и т.д.). Авторы верят, что хороший продакт сам выбирает любимый продукт и за ручку его водить не надо.

При этом, авторы с удовольствием зареферралят лучших студентов - им всегда нужные хорошие продакты. Опять же, тому, кто старался, ProductDo готов написать развернутое рекомендательное письмо и дать сертификат о прохождении всех челенджей (а их много).

Сейчас спрос на руководителей продуктов такой, что уже с базовыми навыками (и пониманием точек роста!) ты можешь получать >120000₽ в России и >4000€ в Европе. Главное - стараться.

Вся история прохождения симулятора с комментариями и ответами сохраняется. Если техника не подведет, то доступ к материалам будет неограничен. Рестарт - сброс прогресса обучения не делаем: все как на работе, учимся на ошибках.

Да, студенты, которые успешно закончили курс, могут сгенерировать в личном кабинете сертификат на английском языке и разместить его на LinkedIn (в разделе Licenses & certifications).

Но, обратите внимание, что при приёме в продуктовую компанию сертификаты курсов не увеличивают шансы кандидата, по крайней мере в практике авторов курсов такого не случалось ни разу. Если в резюме есть упоминание курса, то это может вызвать вопросы про то, что кандидат действительно знает прямо сейчас. Поэтому нужно решать задачи и развивать навыки, а не гнаться за "корочками". К счастью, на курсах практики хватает.

Если по какой-то причине программа не подойдет, можно перейти на другой курс или вернуть деньги (возврат возможен, если пройдено меньше трети курса).