Para PMs, aprender IA é definir casos de uso, medir qualidade e gerenciar riscos.
Plano de 4 semanas: fundamentos → prompts & UX → RAG → avaliação e monitoramento. Use seus PRDs e docs como material e gere quizzes e flashcards com Lernix AI.
Scorecard rápido para features de IA (PM)
Quando alguém pedir “coloca IA”, verifique:
- Valor: qual tarefa do usuário melhora?
- Risco: privacidade, segurança, compliance, alucinações, abuso
- Fontes de verdade: de onde vêm os fatos (docs, banco de dados, políticas)?
- Definição de qualidade: exemplos de bom/ruim
- Custo/latência: limites aceitáveis
- Fallback: o que acontece quando o modelo não sabe?
Métricas essenciais
- Utilidade (Helpfulness): atende à intenção e é acionável
- Correção (Correctness): correto nos fatos e passos
- Fundamentação (Groundedness): suportado por fontes permitidas
- Consistência (Consistency): estabilidade do comportamento
- Tempo para valor (Time to Value): tempo até um resultado útil
- Taxa de escalonamento (Escalation Rate): % que precisa de humano
- Custo por tarefa (Cost per Task): custo total por requisição
Modelo mínimo de avaliação (planilha)
- Prompt
- Contexto/fonte (se RAG)
- Expectativa (características, não texto exato)
- Falhas a observar
- Nota 1–5 + observações
Com 20 exemplos, você consegue comparar versões e evitar “lançar no feeling”.
Aprenda com seus próprios documentos
PMs já têm material real: PRDs, notas de pesquisa, tickets, docs internos.
Fluxo:
- gere um resumo estruturado
- crie 15 perguntas tipo quiz
- crie flashcards para métricas, termos e tradeoffs
- valide se o sistema responde sem inventar (com fontes)
FAQ
Preciso entender como o modelo é treinado?
Não para tomar boas decisões. Foque em fundamentação, UX e avaliação.
Maior erro de PM com IA?
Ignorar avaliação. Sem medir qualidade, não dá para iterar com segurança.