PM-у важно не “стать ML-инженером”, а понимать сценарии, риски и качество.
План на 4 недели: основы → промпты и UX → RAG → оценка, пороги, мониторинг. Используйте PRD и документы как материал: с Lernix AI превращайте их в квизы и карточки.
PM‑scorecard для AI‑фичи (быстрый фильтр)
Когда приходит идея “добавим ИИ”, проверьте:
- Ценность: какую задачу пользователя улучшает?
- Риски: приватность, безопасность, комплаенс, галлюцинации, злоупотребления
- Sources of truth: откуда берутся факты (доки, БД, политики)?
- Определение качества: примеры “хорошо/плохо”
- Стоимость/задержка: пределы на проде
- Fallback: что делать при неопределённости?
Метрики, которые стоит выбрать
- Helpfulness: полезность и исполнимость ответа
- Correctness: фактическая корректность
- Groundedness: опора на разрешённые источники
- Consistency: стабильность поведения
- Time to value: время до полезного результата
- Escalation rate: сколько уходит к человеку
- Cost per task: стоимость на запрос
Мини‑шаблон оценки (таблица)
Колонки:
- Prompt
- Контекст/источник (если RAG)
- Ожидаемые характеристики (не точный текст)
- Failure modes (галлюцинации, пропуски, policy‑риски)
- Score 1–5 + заметки
20 примеров достаточно, чтобы сравнивать версии и избегать “релизов по ощущениям”.
Учитесь на реальных документах
Возьмите PRD или policy:
- сделайте структурированное резюме
- сгенерируйте 15 вопросов‑квизов
- сделайте карточки по терминам/метрикам/ограничениям
- проверьте RAG‑режим: ответы только по источникам
FAQ
Нужно ли PM знать обучение моделей?
Не обязательно. Важнее grounding, UX и измеримая оценка качества.
Самая частая ошибка PM?
Пропуск оценки. Без метрик нельзя улучшать и контролировать риски.