Die Sicherheit agentischer Workflows ist ein Learning-Ops-Thema

Vom Antworten zum Handeln

KI-Agenten gehen über den Chat hinaus. Sie können Dateien abrufen, APIs aufrufen, Einträge aktualisieren, Nachrichten versenden und Schritte in Workflows auslösen. Eine große Analyse von MCP-Tools zeigt die Richtung: Tools werden zunehmend eingesetzt, um Aktionen auszuführen. Damit wird die Sicherheit agentischer Workflows nicht nur zu einer technischen, sondern auch zu einer menschlichen Herausforderung.

Ein Modell, das eine schwache Antwort liefert, kostet vielleicht Zeit. Ein Agent mit Zugriff auf ein System für Kundenfälle, ein Content-Repository oder einen Workflow rund um Zahlungen kann eine andere Art von Fehler verursachen. Er kann auf die falsche Anweisung reagieren, das falsche Tool nutzen oder sensible Informationen an die falsche Stelle verschieben. Die entscheidende Frage ist nicht mehr nur, ob das Modell korrekt arbeitet. Es geht darum, ob Mitarbeitende die an ihn übertragenen Befugnisse verstehen.

Urteilsvermögen für Berechtigungen ist die fehlende Kompetenz

In Banken, Fintechs und Krypto-Unternehmen arbeiten Teams bereits mit klaren Kontrollen. Sie wissen, dass nicht jede Person eine Überweisung freigeben, ein Risikokennzeichen ändern oder regulierte Inhalte für Kunden veröffentlichen darf. KI-Agenten brauchen dieselbe Disziplin. Mitarbeitende müssen sagen können, was ein Agent lesen, vorbereiten oder ändern darf – und was immer eine menschliche Entscheidung erfordert.

Damit wird die Schulung zur Sicherheit von Workflow-Automatisierung zu einer Aufgabe für Learning Ops. Richtlinien definieren die Regeln. Wiederkehrendes Lernen verankert das Verhalten im Moment der Anwendung. Wenn ein Content-Team beispielsweise einen Agenten an ein CMS anbindet, muss es wissen, ob der Agent Textvorschläge machen, Texte veröffentlichen, Metadaten ändern oder auf Quellmaterial zugreifen darf. Das sind unterschiedliche Berechtigungen und unterschiedliche Risiken.

Der Workflow ist jetzt eine Angriffsfläche

Prompt Injection beschränkt sich nicht mehr auf eine irreführende Chat-Antwort. Angreifer können bösartige Anweisungen in einer E-Mail, auf einer Webseite, in einem Ticket oder in einem Dokument platzieren, das ein Agent später liest. NIST bezeichnet Agentenübernahme als Problem indirekter Prompt Injection, das durch die schwache Trennung zwischen vertrauenswürdigen Anweisungen und nicht vertrauenswürdigen Daten entsteht.

Die Folgen verschärfen sich, sobald der Agent Tools nutzen kann. Eine manipulierte Eingabe kann zu Tool-Missbrauch, Datenabfluss, der Übernahme eines Workflows oder einer Aktion mit gültigen, aber zu weitreichenden Berechtigungen führen. Forschung zu agentischen Workflows in GitHub Actions und n8n-Vorlagen zeigt, wie angreifergesteuerte Eingaben Agenten zum Preisgeben von Zugangsdaten und zur Ausführung beliebiger Befehle verleiten können. Teams müssen keine Security Engineers werden. Sie müssen aber die Bedingungen erkennen, die solche Fehler möglich machen.

Entscheidungen statt allgemeiner KI-Regeln vermitteln

Allgemeine KI-Kompetenz reicht als Kontrolle nicht aus, wenn ein Agent auf Produktivsysteme zugreift. Schulungen zu KI-Agenten sollten sich auf die Entscheidungen konzentrieren, die Mitarbeitende vor, während und nach ihrem Einsatz treffen.

• Tools und Berechtigungen erfassen. Lernende sollten erkennen, auf welche Systeme ein Agent zugreifen und welche Aktionen er ausführen kann.
• Eingaben einordnen. Mitarbeitende müssen externe Texte, Anhänge, Webinhalte und von Nutzern ausgefüllte Felder als Daten behandeln – nicht als vertrauenswürdige Anweisungen.
• Prüfschritte anwenden. Teams sollten wissen, welche Aktionen eine Vorschau, Freigabe, ein Vier-Augen-Prinzip oder eine verantwortliche Person erfordern.
• Ausnahmen eskalieren. Lernende brauchen klare Auslöser, um einen Workflow zu stoppen, Zugriffe zu entziehen und verdächtiges Verhalten zu melden.
• Nachweise sichern. Verantwortliche für Workflows sollten verstehen, welche Logs, Freigabenachweise und Änderungshistorien für Prüfungen verfügbar bleiben müssen.

Hier wird auch MCP-Sicherheit praktisch. Entscheidend ist nicht, ob ein Team ein Protokoll erklären kann. Entscheidend ist, ob Menschen den Berechtigungsumfang eines angebundenen Tools beurteilen und eine unsichere Erweiterung dieses Umfangs ablehnen können.

Ein Lernpfad, der sich an Zugriffen und Änderungen orientiert

Richten Sie den Lernpfad an Rollen aus, nicht an einem jährlichen Einheitsmodul. Entwicklerteams müssen sichere Übergaben und Tool-Zugriffe mit minimalen Rechten gestalten. Mitarbeitende in den Fachbereichen müssen unsichere Anfragen erkennen und Ergebnisse prüfen, bevor folgenreiche Aktionen ausgelöst werden. Personen mit Freigabeverantwortung müssen Risiko, Zuständigkeit und Rücksetzpläne beurteilen. Security- und Compliance-Teams brauchen genug Einblick in Workflows, um Ausnahmen hinterfragen zu können.

Machen Sie eine kurze Schulung zur Voraussetzung, bevor jemand einen Agenten in einem produktiven Workflow nutzt. Ergänzen Sie sie durch szenariobasierte Tests mit realen Aufgaben: Ein Agent liest ein Support-Ticket mit bösartigem Text, fordert einen neuen Connector an oder schlägt vor, regulierte Inhalte zu veröffentlichen. Bewerten Sie die Entscheidung, nicht nur das Abrufen von Wissen. Danach frischen Sie das Wissen auf, wenn sich Berechtigungen ändern, ein neues Aktions-Tool hinzukommt, ein Vorfall eintritt oder ein Workflow vom Entwurf in die Produktion wechselt.

Die Arbeit von NIST zu Identität und Autorisierung von Software und KI-Agenten hebt Identifikation, Autorisierung, Auditierung und Nichtabstreitbarkeit als zentrale Themen hervor. Für Learning-Ops-Teams, die KI-Agenten betreuen, ergibt sich daraus ein einfaches Vorgehensmodell: Schulen Sie jede Rolle darin, welche Berechtigungen sie vergibt, welche Nachweise sie prüfen muss und wann sie den Workflow stoppen muss.

Die wirksamste Kontrolle ist weder eine längere Richtlinie noch ein besser formulierter Prompt. Es sind Mitarbeitende, die die Befugnisse eines Agenten im Kontext erkennen und diszipliniert handeln, wenn diese Befugnisse den vorgesehenen Rahmen überschreiten. So wird die Sicherheit agentischer Workflows Teil der operativen Praxis statt einer IT-Ausnahme.