Erst die fertige Lektion, dann die KI-Pipeline

Erst die fertige Lektion, dann die KI-Pipeline

Die Lektion macht den Zweck der Architektur greifbar

Wer eine Präsentation mit der Architektur beginnt, verlangt Käufern einiges ab: Sie sollen sich das Lernerlebnis vorstellen und gleichzeitig KI-Agenten, CMS-Komponenten und Integrationen verstehen. Die Reihenfolge sollte umgekehrt sein. Für eine L&D-Leitung, die Onboarding- oder Compliance-Schulungen bewertet, sollte die Demo eines KI-Kursgenerators mit etwas beginnen, das sich konkret prüfen lässt: einer Lektion im Markendesign, einer relevanten Entscheidung und Feedback dazu. Danach kann die Architektur erklären, wie dieses Lernerlebnis entstanden ist.

Vier Minuten geben die Reihenfolge der Bewertung vor

Eine Demo für eine Unternehmensakademie kann die zentrale Aussage in vier Minuten vermitteln. Vertiefende technische Fragen bleiben für die anschließende Diskussion.

1. 0:00–1:00 — Öffne die Lektion, wechsle zwischen den Ansichten und beantworte eine Frage zu einem Fallbeispiel.
2. 1:00–1:40 — Zeige das Originaldokument und die Passage, auf der die Lektion basiert.
3. 1:40–3:10 — Zeige den Ablauf vom Auslesen der Inhalte über die didaktische Gestaltung, Quizentwürfe und die Prüfung durch Menschen bis zur Veröffentlichung in der tatsächlichen Lernumgebung.
4. 3:10–4:00 — Benenne aktuelle Grenzen, kennzeichne Prototypen und trenne Roadmap-Pläne klar von bereits verfügbaren Funktionen.

Dieser Ablauf ist ein Vorschlag für die Präsentation, kein Beleg für höhere Konversionsraten oder bessere Lernergebnisse. Für App-Learning bietet er eine Möglichkeit, ein durchgängiges Lernerlebnis zu zeigen, ohne den Eindruck zu erwecken, jeder Produktionsschritt sei automatisiert.

Quelldokumente machen redaktionelle Entscheidungen sichtbar

Das NIST-Profil zu generativer KI beschreibt Provenienz als Informationen über die Herkunft und Historie von Inhalten. (nvlpubs.nist.gov) Für einen Prozess, der aus Dokumenten Kurse erstellt, liegt es daher nahe, die Version des Quelldokuments, die ausgewählte Passage und die daraus entstandene Lektion gemeinsam zu zeigen. Wer präsentiert, sollte erklären, was gekürzt, weggelassen oder umformuliert wurde – und welche Einschränkungen der Richtlinie unverändert erhalten blieben. Eine ansprechend gestaltete Ansicht allein macht diese Entscheidungen nicht sichtbar.

Eine Quizfrage macht die Prüfung nachvollziehbar

NIST nennt auch selbstbewusst vorgetragene Falschaussagen als Risiko generativer KI. (nvlpubs.nist.gov) Eine aussagekräftige Demo zeigt deshalb anhand von Belegen, worauf eine Antwort und das zugehörige Feedback beruhen, statt flüssige Formulierungen mit Richtigkeit gleichzusetzen.

Eine fiktive Onboarding-Richtlinie könnte vorschreiben, dass die Aktivierung eines Kontos manuell geprüft werden muss. Die Demo sollte zeigen, wie diese Regel zur richtigen Antwort führt, die falschen Antwortoptionen erklären und benennen, wer die Auslegung geprüft hat. Für die automatische Erstellung von Entwürfen, die redaktionelle Überarbeitung und die Freigabe durch Fachleute sollte es weiterhin separate Kennzeichnungen geben. Fragen ohne Beleg sollten unveröffentlicht bleiben.

Die Bereitstellung muss auch außerhalb der Vorschau funktionieren

Ein Machbarkeitsnachweis für eine Microlearning-Plattform sollte in der Umgebung laufen, in der Lernende sie tatsächlich nutzen würden – nicht nur in der Vorschau des Autorentools. Zum Praxistest gehören Hosting, Anmeldung, Berechtigungen, Dokumentenzugriff, Lerndatensätze und Export.

ADL definiert xAPI als Spezifikation zur Dokumentation und Übermittlung von Lernerfahrungen. (github.com) Den Standard zu nennen, belegt noch keine Integration. Ein glaubwürdiger Test verfolgt ein tatsächliches Lernereignis bis ins empfangende System. Die Auswertung sollte Abschlüsse, die Richtigkeit von Antworten und spätere Leistungsprüfungen getrennt erfassen, statt eine einzelne Dashboard-Kennzahl als Wirkungsnachweis zu präsentieren.

Erst die Grenzen aufzeigen, dann die Roadmap

Das AI Risk Management Framework des NIST fordert eine Bewertung unter Bedingungen, die dem späteren Einsatz ähneln, sowie die Dokumentation von Grenzen. (airc.nist.gov) Bei der Bewertung einer LMS-Plattform sollte jede gezeigte Funktion einen eindeutigen Status tragen: verfügbar, Prototyp oder Roadmap. Manuelle Übergangslösungen und ungetestete Integrationen gehören direkt neben diese Angaben. Käufer sollten wissen, welche Teile des Lernerlebnisses sich heute schon wiederholen lassen, bevor sie erfahren, was später vielleicht hinzukommt.

Ein gemeinsames Bewertungsraster macht Demos vergleichbar

Für die Bewertung lassen sich fünf Kriterien nutzen, jeweils mit dem Status „gezeigt“, „nur dokumentiert“ oder „ungeprüft“.

• Lernablauf und Qualität des Feedbacks
• Rückverfolgbarkeit der Quellen und Versionskontrolle
• Redaktionelle Verantwortung und fachliche Freigabe
• Lernumgebung und einsehbare Lerndatensätze
• Grenzen der Funktionen und ungeklärte Abhängigkeiten

Die fertige Lektion beweist nicht, dass das System für den Einsatz bereit ist. Auch Lernwirkung oder ROI belegt sie nicht. Sie ist der Ausgangspunkt, um all das zu prüfen. Eine glaubwürdige Demo verknüpft die Entscheidung der lernenden Person mit freigegebenen Belegen, namentlich benannten Prüfern und einem überprüften Weg in die Lernumgebung – ohne Lücken mit Verweisen auf die Roadmap zu überspielen.