Learning Analytics sollten Stolperstellen zeigen, keine Vanity Metrics

Die saubere Zahl verdeckt die eigentliche Arbeit

Abschlussquoten sind verlockend, weil sie sauber aussehen. Sie passen gut in Board-Unterlagen, Audit-Dokumentation und monatliche L&D-Dashboards. Aber meistens belegt ein Abschluss nur, dass jemand am Ende eines Moduls angekommen ist. Er belegt nicht, dass die Person einen Kontrollmechanismus verstanden hat, eine Policy anwenden kann oder in einer unklaren Situation richtig handelt.

Genau hier liegt die Falle vieler LMS-Kennzahlen. Das System meldet: 96 Prozent haben die Sanktionsschulung abgeschlossen. Gleichzeitig werden dieselben drei Fragen immer wieder falsch beantwortet. Das Dashboard sagt: Rollout erledigt. Das Lernsystem erzählt eine andere Geschichte – wenn es sie zeigen darf.

Wo es hakt, steckt das Signal

Stolperstellen sind alle Punkte, an denen Lernen langsamer wird: wiederholte Quizversuche, niedrige Trefferquote im ersten Durchlauf, übersprungene Inhalte, lange Pausen vor einer Frage oder ein Muster falscher Antworten in einem bestimmten Szenario. Das sind keine Zeichen, dass die Lernenden versagt haben. Es sind Hinweise darauf, dass wir am System nacharbeiten müssen.

Die Richtung ist auch fachlich klar. Die Society for Learning Analytics Research beschreibt Learning Analytics inzwischen als Grundlage für konkrete Erkenntnisse, die Lernen und Lehren verbessern. Die OECD-Arbeit zu formativer Bewertung kommt zum selben praktischen Punkt: Bewertungsdaten sollten steuern, was als Nächstes passiert, statt nur festzuhalten, was vorher passiert ist.

Falsche Antworten zeigen offene Baustellen im Lerndesign

Fehlerquoten sind nicht nur Daten über Lernende. Sie sind Qualitätssicherung für Inhalte. Eine Frage mit hoher Fehlerquote kann eine echte Wissenslücke zeigen. Sie kann aber genauso auf eine unklare Erklärung hinweisen, auf ein schwach formuliertes Szenario, einen irreführenden Distraktor oder eine Policy-Nuance, über die das Modul hinweggeht. Die richtige Reaktion ist nicht, den Lernenden die Schuld zu geben. Die richtige Reaktion ist, das Lerndesign zu prüfen.

In der Prüfungspraxis werden Antwortdaten zu einzelnen Fragen seit Langem genutzt, um Tests zu verbessern und Lücken gezielt aufzuarbeiten; psychometrische Leitlinien für die medizinische Ausbildung beschreiben die Analyse von Antworten auf Prüfungsfragen als Werkzeug, um Tests und Nachschulungen zu verbessern. Im Lernen am Arbeitsplatz wird diese Logik praktisch. Wenn eine Frage für fast alle schwierig ist, überarbeite den Inhalt. Wenn ein Team Probleme hat, unterstütze gezielt. Wenn nur eine Rolle scheitert, prüfe, ob das Szenario zu ihrer Arbeit passt.

Versuchsdaten verändern die Frage, wer wirklich bereit ist

Wenn du Versuche auswertest, fragst du im Reporting nicht mehr nur, wer abgeschlossen hat, sondern wer Unterstützung brauchte, um abzuschließen. Zwei Lernende können beide bestehen. Eine Person antwortet im ersten Versuch richtig. Die andere braucht vier Anläufe und rät sich durch den letzten Abschnitt. Ein Abschlussbericht behandelt beide gleich. Ein Bericht zur Handlungsfähigkeit nicht.

• Richtige Antworten im ersten Versuch zeigen, wo das Material bereits funktioniert.
• Wiederholte Versuche zeigen, wo Sicherheit oder Klarheit fehlt.
• Analysen zur Frageschwierigkeit zeigen, welche Fragen überprüft werden müssen.
• Fortschritt pro Person zeigt, wer vor risikoreicher Arbeit vielleicht noch Coaching braucht.

Für die Handlungsfähigkeit der Lernenden ist das wichtig, weil regulierte Arbeit kein Gedächtnistest ist. Wer in der Customer Due Diligence arbeitet, Payments Operations macht oder als Support-Mitarbeiter im Kryptobereich tätig ist, muss Muster auch unter Druck erkennen. Das LMS sollte L&D helfen zu sehen, wer bereit ist, wer kurz davorsteht und wo Inhalte das Verständnis noch blockieren.

Regulierte Teams brauchen Nachweise, mit denen sie arbeiten können

Für Lernprogramme in Finanz- und Krypto-Teams gibt es eine harte Anforderung. Trainings müssen Compliance-Anforderungen erfüllen und zugleich die Urteilsfähigkeit verbessern. Die AML-Guidance von FINRA für 2025 verweist auf laufende AML-Schulungen für die relevanten Mitarbeitenden. EU DORA führt relevante Sensibilisierung für IKT-Sicherheit und Schulungen zur digitalen operationalen Resilienz unter den Ressourcen auf, die Finanzunternehmen einplanen müssen. In diesem Umfeld darf Trainingserfolg nicht bei Anwesenheit enden.

Besseres Reporting nimmt Druck aus Audits, statt ihn zu erhöhen. Es zeigt, dass die Organisation die Durchführung belegen, Verständnis prüfen und ein Modul nach dem Launch verbessern kann. Das hilft Compliance-Verantwortlichen. Es hilft aber auch Führungskräften, deren Teams mit Risiko im Tagesgeschäft umgehen müssen.

Reporting wird zum System für bessere Inhalte

Die Reporting-Ebene von App-Learning ist auf genau diese Feedbackschleife ausgelegt. Sie kann Quizversuche pro Person, die Schwierigkeit einzelner Fragen und den Fortschritt pro Person zeigen. Es geht nicht um Überwachung. Es geht darum, Stolperstellen früh zu finden und daraus einen klaren nächsten Schritt für die Person zu machen, die das Training verantwortet.

• Die Erklärung vor einer schwierigen Frage neu schreiben.
• Einen Distraktor ersetzen, der das Falsche vermittelt.
• Ein Szenario für die Rolle ergänzen, die Probleme hatte.
• Lernende markieren, die erst nach mehreren Versuchen bestanden haben.
• Kohorten nach der Überarbeitung vergleichen, um zu sehen, ob es weniger hakt.

Die besten LMS-Analysen feiern kein Dashboard. Sie verkürzen den Weg von der Erkenntnis zur Verbesserung. Abschlüsse bleiben wichtig, besonders in regulierten Trainings. Aber sie sind nur die Basis. Ein nützliches LMS zeigt, wo Menschen Schwierigkeiten hatten, welche Fragen wiederholte Versuche ausgelöst haben und wo das Lernmaterial besser werden muss. So wird Reporting Teil des Lernsystems, nicht nur ein Bericht darüber.