KI-Agenten im Finanzsektor brauchen Kill-Switch-Kompetenz

Am 30. Juni 2026 warnte Sarah Breeden, Vizegouverneurin der Bank of England, davor, dass KI den Finanzsektor in hohem Tempo verändert, während agentische Systeme in Bereiche wie Cyberrisiken, Märkte und Zahlungsverkehr vordringen. Die Sorge ist nicht nur, dass KI-Agenten im Finanzsektor schlechte Entscheidungen treffen könnten. Sondern dass sie handeln, Tools verketten und Risiken schneller weitergeben, als die übliche menschliche Governance aufnehmen kann.

Autonomie verwandelt Modellrisiko in operatives Risiko

Beim klassischen Modellrisiko gilt: Ein System liefert ein Ergebnis, danach entscheidet ein Mensch oder ein Prozess, was damit passiert. Agentische KI ändert diese Reihenfolge. Das Modell kann ein Ziel interpretieren, Tools aufrufen, eine Zahlung auslösen, eine Trading-Anweisung ändern, interne Systeme abfragen oder einen weiteren automatisierten Prozess starten. Damit geht es bei KI-Risiko nicht mehr nur um die Qualität des Outputs, sondern darum, welche Befugnisse man an das System überträgt.

Genau deshalb darf Governance für agentische KI nicht nur bei Modellvalidierung, Legal Review oder Architekturboards liegen. Das Risiko steckt im Arbeitsablauf: wenn ein Mitarbeiter eine Empfehlung des Agenten übernimmt, wenn ein Product Verantwortliche ein Autonomielimit erhöht, wenn ein Trader ungewöhnliches Orderverhalten sieht oder wenn Compliance einen Vorfall prüft, nachdem der Agent längst gehandelt hat.

Der Kill-Switch ist ein Arbeitsablauf, kein Button

Ein technischer KI-Kill-Switch klingt beruhigend, weil er einen klaren Stoppbefehl verspricht. Im laufenden Bankbetrieb ist dieser Stoppbefehl aber nur ein Teil der Absicherung. Mitglieder des AI Consortium der Bank of England wiesen darauf hin, dass agentische KI Entscheidungszeiten so stark verkürzen kann, dass Kill-Switches und Circuit Breaker an ihre Grenzen kommen, und nannten als Beispiel einen Kill-Switch, der ein System stoppt, dabei aber auch Zahlungen unterbricht.

Auch das Financial Stability Board geht in diese Richtung. In seiner Konsultation vom Juni 2026 zum verantwortungsvollen KI-Einsatz schlägt es eine unternehmensweite Governance über den gesamten KI-Lebenszyklus hinweg vor, inklusive Aufmerksamkeit des Senior Managements für Strategie, Technologieeinführung und Risikomanagement. Für Banken heißt das: Eine Kontrolle ist erst vollständig, wenn Menschen sie auch unter Druck bedienen können.

Aufsicht scheitert ohne Stoppkriterien

Menschliche Aufsicht ist schwach, wenn der Mensch nicht weiß, was als auffällig gilt. Ein Dashboard, eine Freigabeschlange oder ein Incident-Kanal helfen nicht, wenn der Operator normale Modellschwankungen nicht von einer Mandatsverletzung unterscheiden kann. Kill-Switch-Kompetenz heißt: Teams können vier operative Fragen beantworten, bevor Autonomie erhöht wird.

• Wann muss der Agent sofort gestoppt werden?
• Wann sollte der Agent begrenzt werden, aber weiterlaufen?
• Wann muss der Fall an Risk, Compliance, Technology oder das Senior Management gehen?
• Welche Nachweise müssen für Audit, Behebung und Prüfung durch die Aufsicht gesichert werden?

Auch die Teams kommen damit in die Pflicht; es ist nicht nur eine technische Designfrage. Nach Aussage der Europäischen Kommission verpflichtet Artikel 4 des EU AI Act Anbieter und Betreiber dazu, ein ausreichendes Maß an KI-Kompetenz bei Mitarbeitenden und anderen Personen sicherzustellen, die mit KI-Systemen umgehen – je nach Rolle, Kontext und Systemrisiko. In einer Bank muss Training zu verantwortungsvoller KI deshalb an echte Entscheidungsrechte gekoppelt sein.

Einsatzbereitschaft richtet sich nach der Rolle

Ein einzelner unternehmensweiter KI-Kurs bereitet keine Bank auf agentische Arbeitsabläufe vor. Der Lernpfad muss zu den typischen Fehlerbildern jeder Funktion passen. Ein Trader muss korreliertes Agentenverhalten, unerklärliche Ordermuster und Stresssignale im Markt erkennen. Ein Produktteam im Zahlungsverkehr muss Betragslimits, Einwilligung, Authentifizierung, Umgang mit Ausnahmen und Schaden für Kunden verstehen. Risk-Teams brauchen Eskalationsschwellen, Szenarioanalysen und einen Blick auf Konzentrationsrisiken. Compliance- und Audit-Teams brauchen Nachvollziehbarkeit, klare Nachweisstandards und eine Linie von der Policy zum beobachteten Verhalten.

Hier wird KI-Risikotraining praktisch. Jede Rolle sollte realistische Szenarien üben, bevor das System in folgenreichere Arbeitsabläufe geht: Ein Agent versucht, eine Zahlung aufzuteilen, um ein Limit zu umgehen; ein Trading-Assistent handelt weiter, obwohl sich Marktbedingungen ändern; ein Kundenservice-Agent gibt regulierte Informationen preis; oder ein Produktteam erhöht eine Autonomieschwelle, ohne die Kontrollen anzupassen.

Einsatzbereitschaft muss messbar sein, bevor Autonomie steigt

Bei App-Learning sehen wir darin einen systematischen Aufbau von Fähigkeiten. Banken brauchen kurze Lernstrecken, rollenspezifische Simulationen, Entscheidungsübungen, Wissenschecks und Dashboards, die Einsatzbereitschaft nach Team, Arbeitsablauf und Risikostufe zeigen. Das Ziel ist nicht, alle zu KI-Ingenieuren zu machen. Das Ziel ist, die richtigen Menschen genau an den Punkten handlungsfähig zu machen, an denen agentische KI Schaden auslösen kann.

Agentische KI wartet nicht, bis die Policy-Architektur perfekt ist. Sie kommt über Piloten, Vendor-Tools, interne Automatisierung, Produktexperimente und Shadow-Arbeitsabläufe ins Haus. Banken, die das gut steuern, behandeln Kill-Switches als operative Praxis, nicht als technisches Artefakt. Sie trainieren die Menschen, die im Ernstfall handeln müssen, bevor der Agent genug Befugnis hat, damit der Switch überhaupt zählt.