Das erste Quiz war das schwerste

Das erste Quiz war das schwerste

Eine Akademie kann erfolgreich wirken, auch wenn ihr erster Test genauer geprüft werden sollte. Bei der hier beschriebenen Einführung meldeten sich Lernende freiwillig an und schlossen die Schulung ab, noch bevor die Akademie breit beworben wurde. Rückmeldungen aus dem laufenden Betrieb wiesen allerdings darauf hin, dass im Quiz zum ersten Kapitel ungewöhnlich oft falsche Antworten gegeben wurden.

Das rechtfertigt eine Überprüfung, aber noch kein Urteil. Fehlende Hilfestellung beim Lernen und eine sinnvolle Herausforderung bleiben zwei mögliche Erklärungen. Welche zutrifft, wurde bisher nicht in einem kontrollierten Test geklärt. Wenn du Schulungen verantwortest und Lernende aktiv einbinden willst, solltest du die Schwierigkeit des ersten Quiz als mögliche Hürde zwischen der Anmeldung und dem Punkt sehen, an dem Lernende fit für den Vertrieb sind.

Ein Misserfolg zu Beginn birgt ein anderes Risiko

Experimente zum aktiven Abrufen von Wissen zeigten, dass Lernende mit mehr Vertrauen in ihre akademischen Fähigkeiten länger durchhielten. (pmc.ncbi.nlm.nih.gov) Das belegt nicht, dass das erste Quiz ihr Selbstvertrauen geschwächt hat. Es spricht aber dafür, dieses Selbstvertrauen genauer zu betrachten, statt davon auszugehen, dass alle Lernenden weitermachen.

Durchschnittswerte eines Kurses zeigen nicht, wo Lernende Schwierigkeiten haben. Die Bestehensquote am Ende zeigt nicht, wie viel Aufwand bis dahin nötig war. Vergleiche die Ergebnisse im ersten Versuch, die Zahl der Wiederholungsversuche bis zum Bestehen und die spätere Bestehensquote. Lege dafür die Bezugsgrößen offen und nutze einen festen Beobachtungszeitraum. Berücksichtige auch Lernende, die nicht zurückkehren – nicht nur diejenigen, die abschließen.

Vier Punkte, die du vor einer Änderung der Bestehensgrenze prüfen solltest

Die Leitlinien von NBME zur Testgestaltung unterscheiden zwischen der Schwierigkeit einzelner Fragen, Mustern bei den gewählten Antwortoptionen und Mängeln, die den Test ohne fachlichen Grund erschweren. (nbme.org) Nutze diese Unterscheidung, wenn du Quizfragen im LMS anhand der folgenden vier Punkte prüfst.

1. Verständlichkeit. Prüfe die Fragestellung, den Lösungsschlüssel, die Übersetzung und die falschen Antwortoptionen. Lass einen Vertriebsmitarbeiter erklären, was die Frage verlangt.
2. Vorwissen. Welche Erklärung oder welches Lösungsbeispiel brauchen Lernende für die Antwort? Prüfe, ob diese Grundlage vor dem Quiz vermittelt wird.
3. Lernziel. Vergleiche das Lernziel der Lektion mit der Entscheidung, die im Quiz geprüft wird. Einen Tarif wiederzuerkennen ist etwas anderes, als die Gesamtkosten für einen Kunden zu berechnen.
4. Antwortmuster. Analysiere die Trefferquote je Versuch und gewählter Antwortoption. Prüfe dazu, wie lange Lernende Erklärungen ansehen, ob sie nach einem Fehlversuch aussteigen und welche Kommentare sie hinterlassen.

Schwierigkeit muss sich lohnen

Experimente mit Tests vor der eigentlichen Lernphase zeigten: Wer zunächst erfolglos versuchte, Wissen abzurufen, und sich danach mit dem Stoff beschäftigte, konnte später bessere Ergebnisse erzielen. (pubmed.ncbi.nlm.nih.gov) Eine falsche Antwort ist also nicht automatisch ein Beleg für einen schlecht gestalteten Test. Diese Forschung rechtfertigt aber keine mehrdeutige Frage. Sie belegt auch nicht, dass die Schwierigkeit in dieser Akademie einen Nutzen hat.

Gut gestaltete Tests im Onboarding sollten die relevante Entscheidung im Vertrieb weiterhin prüfen und sachfremde Hürden beseitigen. Erkläre die Voraussetzung für eine Zahlung, bevor du prüfst, ob Lernende für Transaktionen bereit sind. Steigere die Komplexität, wenn Lernende die nötigen Fähigkeiten zeigen, statt das erste Quiz zur Zugangshürde zu machen.

Fehler auffangen – direkt im Lernablauf

In einer Studie zu Tests vor der Lernphase erinnerten sich Lernende besser an Inhalte, wenn sie sofort korrigierendes Feedback bekamen statt erst später. (pubmed.ncbi.nlm.nih.gov) Teste für Wiederholungsversuche in kurzen Lerneinheiten eine kurze Erklärung nach einem Fehler, einen gezielten Hinweis und einen weiteren Versuch. Dieser sollte denselben Gedankengang erfordern, ohne dass die Antwort einfach übernommen werden kann.

Das Institute of Education Sciences empfiehlt zeitlich verteiltes Lernen und Quizfragen, um Inhalte zu wiederholen. (ies.ed.gov) Ergänze später eine erneute Abfrage ohne Hinweise. Halte Erklärungen auf leistungsschwachen Handys schlank, speichere den Lernfortschritt und synchronisiere offline erfasste Ereignisse, bevor du einen Ausstieg als Abbruch wertest.

Behebe erst eine Ursache, bevor du die Einführung ausweitest

App-Learning verbindet in der Praxis Auswertungen einzelner Fragen mit einer redaktionellen Prüfung. Behebe bestätigte Mehrdeutigkeiten für alle Lernenden. Wenn unklar ist, ob eine geänderte Reihenfolge hilft, teile neue Lernende nach dem Zufallsprinzip der bisherigen oder der überarbeiteten Abfolge zu. Halte dabei die Anforderungen für den Einsatz im Vertrieb konstant.

Stimme den Beobachtungszeitraum und die Entscheidungskriterien vorab ab. Vergleiche die Ergebnisse im ersten Versuch, das Weiterlernen nach einem Fehlversuch, die Wiederholungsversuche, die Trefferquote bei späteren Abfragen ohne Hinweise und die Supportanfragen. Verfolge separat, ob Lernende ihren ersten Verkauf erzielen. Werte bessere Quizergebnisse nicht als Beleg für höhere Verkaufszahlen.

Behalte eine Änderung bei, wenn Lernende verlässlicher vorankommen und ihre Trefferquote bei Aufgaben ohne Hilfestellung nicht sinkt. Verwirf einen leichteren Weg, wenn er nur die Bestehensquote erhöht. Das erste Quiz sollte klar zeigen, wie es sinnvoll weitergeht – und nicht prüfen, ob Lernende die Akademie überstehen können.