Para PMs, aprender IA não é teoria abstrata. É definir casos de uso, medir qualidade e gerir risco.
Plano de 4 semanas: fundamentos → prompts e UX → RAG → avaliação e monitorização. Use PRDs e documentação interna como base e gere quizzes e flashcards no Lernix AI.
Scorecard rápido para funcionalidades com IA
Quando surgir o clássico pedido de “meter IA”, valide:
- Valor: que tarefa do utilizador melhora?
- Risco: privacidade, segurança, conformidade, alucinações, abuso
- Fonte de verdade: de onde vêm os factos (docs, base de dados, políticas)?
- Critério de qualidade: exemplos concretos de bom e mau
- Custo e latência: limites aceitáveis
- Fallback: o que acontece quando o modelo falha?
Métricas essenciais
- Utilidade (Helpfulness): responde à intenção e é acionável
- Correção (Correctness): factualmente correto e com passos válidos
- Fundamentação (Groundedness): apoiado em fontes permitidas
- Consistência (Consistency): comportamento estável
- Tempo para valor (Time to Value): rapidez até um resultado útil
- Taxa de escalonamento (Escalation Rate): percentagem que requer intervenção humana
- Custo por tarefa (Cost per Task): custo total por pedido
Modelo mínimo de avaliação (folha de cálculo)
- Prompt
- Contexto/fonte (se houver RAG)
- Expectativa (características, não texto exato)
- Falhas a observar
- Nota (1–5) + observações
Com apenas 20 exemplos já consegue comparar versões e evitar decisões “por feeling”.
Aprenda com os seus próprios documentos
Os PMs já têm matéria-prima real: PRDs, notas de investigação, tickets e documentação interna.
Fluxo sugerido:
- gerar um resumo estruturado
- criar 15 perguntas tipo quiz
- criar flashcards para métricas, termos e trade-offs
- validar se o sistema responde com base em fontes (sem inventar)
FAQ
Preciso de perceber como o modelo é treinado?
Não para tomar boas decisões de produto. Foque-se em fundamentação, UX e avaliação.
Qual é o erro mais comum de PM em IA?
Ignorar avaliação. Sem medir qualidade, não há iteração segura.