Das Wichtigste in Kürze
- Wie viel Wissen später noch abrufbar ist, sagt mehr über den Lernerfolg aus als der Kursabschluss oder die unmittelbare Erinnerungsleistung allein.
- Mit vergleichbaren Inhalten und Testbedingungen lassen sich Unterschiede zwischen den Varianten sinnvoll einordnen.
- Zufällige Gruppenzuweisung und Präregistrierung grenzen den geplanten Test von selektiver Berichterstattung ab.
- Neben dem Ergebnis des späteren Wissenstests müssen auch Abbrüche, Frust und Zeitaufwand berücksichtigt werden.
- Fehlende Antworten und Unsicherheit können die Bewertung des Lernerfolgs verändern.
Tests direkt nach dem Lernen können zum gegenteiligen Urteil führen
Ein Kursabschluss dokumentiert, dass jemand einen Kurs beendet hat. Klicks dokumentieren Aktivität. Beides zeigt nicht, woran sich Mitarbeitende erinnern, wenn sie zwei Wochen später eine verdächtige Transaktion an die zuständige Stelle melden müssen.
Im Experiment von Roediger und Karpicke zum Lernen durch aktives Abrufen (psychologicalscience.org) führte erneutes Durcharbeiten des Stoffes nach fünf Minuten zu einer besseren Erinnerungsleistung. Nach längeren Abständen blieb dagegen durch das Testen mehr Wissen im Gedächtnis. Ein Quiz direkt nach dem Lernen kann deshalb die falsche Variante für dauerhaftes Lernen begünstigen. Um den Lernerfolg im LMS zu bewerten, braucht es ein längeres Messfenster.
Zeitlich verteiltes Abruftraining wird zur überprüfbaren Produktentscheidung
Der vorgeschlagene A/B-Test zur Lernwirksamkeit vergleicht den bisherigen Ablauf mit kurzen Lerneinheiten, in denen Wissen in zeitlichen Abständen aktiv abgerufen wird. Das ist ein Plan, kein abgeschlossenes Experiment; ein Ergebnis wird nicht behauptet. Die Studie von Cepeda und Kollegen zum verteilten Lernen (laplab.ucsd.edu) liefert eine Grundlage dafür, zeitlich verteiltes Üben zu testen – keinen Beleg dafür, dass ein bestimmter Übungsplan einer Akademie funktioniert.
- In Variante A bleiben die bisherige Lerneinheit und das Quiz direkt im Anschluss unverändert.
- In Variante B kommen am zweiten und siebten Tag kurze Abrufübungen mit korrigierendem Feedback hinzu.
Beide Varianten nutzen dasselbe freigegebene Ausgangsmaterial und dieselben Lernziele. Da B zusätzliche Übungen vorsieht, prüft der Vergleich das Gesamtpaket – nicht allein die zeitliche Verteilung. Um nur deren Wirkung zu testen, müsste der Übungsumfang in beiden Varianten gleich sein.
Zuweisung und Auswertung stehen fest, bevor das Lernen beginnt
Nach dem Leitfaden des Australian Centre for Evaluation zur Präregistrierung (evaluation.treasury.gov.au) sollten Zielgrößen, Stichprobengröße, Randomisierung und Auswertung vor der Maßnahme festgelegt werden. In diesem Pilotprojekt würden Lernende, die die Teilnahmekriterien erfüllen, zufällig einer Gruppe zugewiesen, bevor sie eine der Varianten sehen. Die Zuweisung würde unter einer dauerhaft gleichbleibenden Lernenden-ID gespeichert.
In der Präregistrierung sollten Teilnahmekriterien, Ausschlüsse, Bewertung, der Umgang mit fehlenden Daten und die Stoppregel festgelegt werden. Niemand sollte allein wegen ausgelassener Übungen aus der Auswertung herausfallen. Vorgeschriebene Unterweisungen und Abschlussnachweise für Compliance-Schulungen blieben in beiden Gruppen unverändert erhalten.
Der spätere Test misst das Behalten nach einem festgelegten Zeitraum
Die primäre Zielgröße wäre das Ergebnis eines Wissenstests nach 14 Tagen. Der Zeitraum würde in beiden Gruppen ab Beginn der ersten Lerneinheit zählen. Ein vorab festgelegtes Zeitfenster für die Beantwortung würde Arbeitszeiten berücksichtigen, aber keinen unbegrenzten Aufschub erlauben.
Beide Gruppen bekämen dieselben, zuvor nicht gezeigten Fragen. Auch Bewertungsschema, Erinnerungen und Testbedingungen wären identisch. Die Fragen sollten die vereinbarten Wissensziele abdecken, statt Formulierungen aus den Übungen zu wiederholen. Das Ergebnis misst das nach diesem Zeitraum behaltene Wissen – nicht die Leistung am Arbeitsplatz, eine Verringerung des Compliance-Risikos oder die finanzielle Rendite.
Abbrüche und Unsicherheit begrenzen die Aussagekraft
Der Leitfaden der britischen Regierung zu randomisierten Studien (assets.publishing.service.gov.uk) erläutert, warum die Stichprobengröße davon abhängt, welchen Effekt eine Studie erkennen muss. Für dieses Pilotprojekt braucht es eine Berechnung der statistischen Teststärke. Grundlage sind die kleinste lohnende Verbesserung der Behaltensleistung, eine plausible Streuung der Testergebnisse und die erwartete Quote ausbleibender Antworten. Eine kleine Gruppe kann zeigen, ob der Test umsetzbar ist, ohne die Wirksamkeit abschließend zu klären.
Der Leitfaden des What Works Clearinghouse zu Ausfällen in Studien (ies.ed.gov) nennt fehlende Ergebnisdaten als mögliche Ursache für Verzerrungen. Deshalb sollten auch Lernende zum Test eingeladen werden, die die Schulung abgebrochen haben. Der Bericht sollte die Rücklaufquoten je zugewiesener Gruppe zeigen. Die Auswertung sollte die ursprünglichen Gruppenzuweisungen beibehalten und vorab festgelegte Annahmen zu fehlenden Testergebnissen prüfen. Eine ausbleibende Antwort bedeutet nicht automatisch, dass kein Wissen vorhanden ist.
Als Kontrollgrößen würden Abbrüche, aktive Lernzeit und eine kurze Bewertung des erlebten Frusts dienen. Akzeptable Grenzwerte würden vorab festgelegt.
Plane mit App-Learning einen Pilottest dazu, was vom Gelernten bleibt.
Gespräch startenDas Ergebnis verändert den Lernablauf – nicht nur das Dashboard
Der Bericht als Entscheidungsgrundlage sollte den Unterschied in der Behaltensleistung in Prozentpunkten samt Konfidenzintervall ausweisen. Ein lohnender Zuwachs bei eingehaltenen Grenzwerten spricht für eine schrittweise Einführung. Bei zu viel Frust muss das Lerndesign überarbeitet werden. Ist das Ergebnis unpräzise, braucht es mehr Belege – nicht die Behauptung, beide Varianten seien gleichwertig.
Für App-Learning zeigt sich daran, dass eine Akademieplattform mehr leisten muss. Es reicht nicht, Inhalte mit Spielelementen zu veröffentlichen. Für die Umsetzung braucht es die Zuweisung zu Varianten, Zeitstempel für den Aufruf der Inhalte, zeitversetzte Tests und individuelle Lernfortschrittsdaten. Der Maßstab ist einfach: Ein besseres Lernerlebnis muss sich auch nach Ende der Lerneinheit bewähren.
