Warum wir eine Nutzerzahl aus dem Akademie-Dashboard gestrichen haben

Zwei Zahlen, die scheinbar einen Funnel abbildeten

Bei der Prüfung eines Akademie-Dashboards stießen wir auf zwei ähnlich benannte Nutzerzahlen. Die eine umfasste anonyme oder unvollständige Identitätsdatensätze, darunter auch solche aus Tests. Die andere zählte Registrierungen mit klar zuordenbarer Identität.

Für die Verantwortlichen lag die Deutung nahe, dass die Zahlen zwei Stufen eines Funnels für Lernende abbildeten. Doch die erfassten Gruppen stützten diese Deutung nicht. Wir strichen die weiter gefasste Gesamtzahl und behielten die eindeutigere Kennzahl für Registrierungen bei. Aus der Differenz ließ sich keine Konversionsrate ableiten.

Ein Identitätsdatensatz ist noch kein Lernender

Die xAPI-Spezifikation von ADL unterscheidet zwischen Akteur und Handlung. Nutze diese Unterscheidung, bevor du Kennzahlen für dein LMS-Dashboard entwirfst. Verwende im Web und auf Mobilgeräten einen stabilen, gemeinsamen Schlüssel für das Akademiekonto. Dokumentiere außerdem, nach welchen Regeln vorläufige Identitäten verknüpft werden.

Ein mögliches Begriffsverzeichnis macht die Abgrenzungen deutlich.

• Sitzungen erfassen Besuche, nicht Personen.
• Vorläufige Datensätze stehen für noch unvollständige Identitätsdaten.
• Anonyme Datensätze erfassen Aktivitäten, die keinem Akademiekonto zugeordnet sind.
• Die Kennzahl „Registrierte Lernende“ zählt jedes verifizierte Akademiekonto genau einmal.
• Die Kennzahl „Aktive Lernende“ erfasst die infrage kommenden Konten, die innerhalb eines festgelegten Zeitraums eine klar benannte Aktivitätsregel erfüllen.

Der Nenner gehört in die Definition

Der Leitfaden von GOV.UK zur Abschlussquote definiert diese Quote als Verhältnis von abgeschlossenen zu begonnenen Vorgängen. Interne Nutzer, Testnutzer und Bots werden dabei ausgeschlossen. Wichtig ist dabei die Abgrenzung, nicht nur die Formel.

Dokumentiere für jeden Akademie-KPI, welche Einheit gezählt wird, welches Ereignis zählt, welcher Zeitraum gilt, was ausgeschlossen wird und wer verantwortlich ist. Absolute Zahlen brauchen eine klar abgegrenzte Grundgesamtheit; Quoten brauchen zusätzlich einen Nenner. Vergleiche registrierte Lernende erst dann mit aktiven Nutzern, wenn feststeht, ob für beide dieselben Konten infrage kommen und derselbe Beobachtungszeitraum gilt.

Tests zum Produktstart brauchen eine getrennte Auswertung

Wenn die erfasste Gruppe zum Start klein ist, können wiederholte Qualitätstests eine Gesamtzahl deutlich verändern. Kennzeichne Testkonten und Testumgebungen schon beim Anlegen und schließe sie anschließend über eine gemeinsame Auswertungslogik aus. Ein Testdaten-KPI sollte darauf hinweisen, wenn gekennzeichnete Identitäten dennoch in Nutzungsberichte einfließen. Bewahre die Datensätze für die Fehlersuche auf, aber beziehe sie nicht in Aussagen zur Nutzung im Produktivbetrieb ein.

Prüfe, was jedes Diagramm verspricht

Die Leitlinien von Jisc zur Lerndatenanalyse fordern klare Erläuterungen der Kennzahlen und ihrer Interpretation. Stelle die Definitionen zur Lerndatenanalyse über das Dashboard bereit und prüfe dann jede Kennzahlenkarte anhand konkreter Kriterien.

• Verfolge anhand von Beispieldatensätzen den Weg von den ursprünglichen Ereignissen bis zur angezeigten Gesamtzahl.
• Prüfe wiederholte Besuche, das Zusammenführen von Konten und die Verknüpfung von Identitäten zwischen Web und Mobilgeräten.
• Stelle sicher, dass Testdaten in Kennzahlenkarten, Exporten und Abfragen historischer Daten ausgeschlossen werden.
• Bitte eine verantwortliche Person, ohne Hilfe zu erklären, welche Gruppe gezählt wird.

Behalte das Aussagekräftige und streiche das Unklare

Behalte eine Kennzahl, wenn du auf Basis der erfassten Gruppe eine sinnvolle Entscheidung treffen kannst. Benenne sie um, wenn die Berechnung stimmt, die Bezeichnung aber zu viel verspricht. Streiche sie, wenn sich weder die erfasste Gruppe noch die beabsichtigte Interpretation sachlich begründen lassen.

Der Leitfaden der britischen Regierung zur Datenqualität empfiehlt, Metadaten aktuell zu halten und Änderungen an Definitionen zu dokumentieren. Versioniere die Kennzahlendefinitionen des Dashboards und halte fest, ab wann sie gelten. Berechne historische Werte nach den neuen Regeln neu oder kennzeichne den Bruch, statt einen durchgehenden Trend darzustellen.

Aussagen zur Nutzung dürfen nicht über die Belege hinausgehen

Das Government Data Quality Framework fordert verständliche Definitionen und eine klare Kommunikation der Grenzen. Unterscheide bei der Analyse der Akademienutzung zwischen Registrierung, Lernaktivität und der Aktivierung von Fintech-Funktionen. Verwende keine dieser Größen als Beleg für eine andere.

Für uns bei App-Learning sollten klare Kennzahlendefinitionen genauso zum Lieferumfang gehören wie Diagramme und eingebettete Lernabläufe. Das Streichen der mehrdeutigen Zahl machte das Dashboard schlanker und seine Aussage klarer. Ein nützliches Dashboard zeigt nicht die größte Zahl, die sich irgendwie plausibel darstellen lässt. Es zeigt, welche Gruppe erfasst wurde. Das Team kann die Zählung erklären, reproduzieren und als Entscheidungsgrundlage nutzen.