KI-Lernen für PMs heißt: Use Cases sauber schneiden, Risiken managen und Qualität messen.
4-Wochen-Plan
- Woche 1: Use Cases, JTBD, Risiken, Metriken
- Woche 2: Prompt-Specs & UX-Kantenfälle
- Woche 3: RAG: Quellen, Scope, Updates
- Woche 4: Evaluation: Testset, Thresholds, Monitoring
Tipp
Nutze PRDs, Research-Notizen und Tickets als Lernmaterial. Mit Lernix AI machst du daraus Quiz und Flashcards, um Begriffe, Metriken und Tradeoffs schneller zu verankern.
PM‑Scorecard für AI‑Features
Wenn jemand „wir brauchen KI“ sagt, frage:
- User Value: welches Job‑to‑be‑done wird besser?
- Risiko: Privacy, Safety, Compliance, Halluzination, Missbrauch
- Sources of truth: woher kommen Fakten (Docs, DB, Policies)?
- Qualitätsdefinition: Beispiele für „gut“ und „schlecht“
- Kosten/Latenz: akzeptable Grenzen im Betrieb
- Fallback: was passiert bei Unsicherheit?
Metriken‑Cheat‑Sheet
- Helpfulness: erfüllt Intent, liefert Schritte/Resultat
- Correctness: faktisch korrekt
- Groundedness: durch erlaubte Quellen gestützt
- Consistency: stabil über ähnliche Inputs
- Time to value: Zeit bis nutzbares Ergebnis
- Escalation rate: Anteil, der menschliche Hilfe braucht
- Cost per task: Gesamt‑Kosten pro Anfrage
Minimales Eval‑Template (Copy‑Paste)
Tabelle:
- Prompt
- Kontext/Quelle (bei RAG)
- Erwartete Eigenschaften (nicht exakte Worte)
- Failure Modes (Halluzination, fehlende Schritte, Policy‑Issues)
- Score 1–5 + Notizen
Mit 20 Beispielen kannst du Versionen vergleichen und „Vibes‑Releases“ vermeiden.
Lernen mit echten PM‑Dokumenten
Nimm ein PRD oder eine Policy:
- Strukturierte Summary erzeugen.
- 15 Quizfragen erstellen und ohne Spicken beantworten.
- Flashcards für Begriffe/Metriken/Constraints.
- RAG‑Check: Antworten nur mit erlaubten Quellen?
FAQ
Muss ein PM wissen, wie Modelle trainiert werden?
Nicht für gute Produktentscheidungen. Fokus auf Grounding, UX und Evaluation.
Größter PM‑Fehler bei AI?
Evaluation überspringen. Ohne Messung keine Verbesserung.