Jede KI-Initiative erreicht einige Monate nach dem Go-live denselben Moment: Jemand im Verwaltungsrat fragt, ob es funktioniert hat. Für ein FINMA-reguliertes Institut ist «es fühlt sich schneller an» keine Antwort — nicht für einen Verwaltungsrat und schon gar nicht für einen internen Prüfer. Den Erfolg der KI-Implementierung zu messen ist keine Höflichkeit, die man am Ende erweist; es ist die Disziplin, die entscheidet, ob der nächste Workflow finanziert wird oder das ganze Programm leise stehen bleibt. Institute, die gut messen, verfolgen drei KPI-Ebenen — operativ, ökonomisch und Governance — und sie lehnen die Vanity-Metriken ab, die nach Fortschritt aussehen und nichts beweisen. Doch alle drei Ebenen ruhen auf einer Sache, die vorhanden sein muss, bevor eine von ihnen etwas bedeutet.
Diese eine Sache ist eine Baseline. Den Erfolg der KI-Implementierung zu messen ist im Nachhinein unmöglich, wenn Sie nie festgehalten haben, wie der Prozess vorher aussah. Erfassen Sie die Zahlen am Tag null — die mehrtägige Durchlaufzeit, die Ausnahmequote, die Zahl der manuellen Eingriffe zwischen den Daten und dem Investor — idealerweise während eines Parallelbetriebs, in dem der alte und der neue Prozess nebeneinander laufen. Eine vor dem Go-live erfasste Baseline macht aus jeder späteren Behauptung eine Demonstration. Ein ohne sie automatisierter Workflow kann seinen Return nie belegen, keine Regression erkennen und die erste Frage nicht beantworten, die Finance stellen wird.
Die erste Ebene ist die operative, und hier zeigt sich der Return am schnellsten und verteidigt sich am leichtesten. Verfolgen Sie die Durchlaufzeit — der Reporting-Lauf, der mehrere Tage dauerte und nun Stunden braucht; die Ausnahme- oder Fehlerquote — wie viele Zahlen eine Berechnung zur manuellen Prüfung auswirft; die Zahl der manuellen Eingriffe — jede Stelle, an der eine Person Daten neu eintippt; und den Durchsatz — wie viel Volumen ein Senior nun überwachen statt bearbeiten kann. Als das Reporting über 39+ Fonds bei einer führenden Zürcher Anlagestiftung automatisiert wurde, war die verdichtete Durchlaufzeit die KPI, die sich zuerst bewegte und am meisten zählte, weil sie am ersten Tag messbar und für jeden nachweisbar war, der danach fragte.
Die zweite Ebene ist die ökonomische, und hier beginnen die meisten Messprogramme, Zahlen zu erfinden, die sie nicht verteidigen können. Der ehrliche Return in einem regulierten Institut ist selten eine saubere Kennzahl pro Vorgang; es ist zurückgewonnene Senior-Zeit — die qualifizierten Stunden, die in manuelle Abstimmung und Übertragung flossen und nun in das Urteil umgelenkt werden, das wirklich eine qualifizierte Person verlangt. Messen Sie das direkt: zurückgewonnene Stunden und wohin sie gingen. Widerstehen Sie der Versuchung, aus Annahmen eine finanzielle KPI zu fabrizieren — ein Return-Modell auf erfundenen Zahlen scheitert an genau dem Audit, das es überstehen sollte. Messen Sie, was Sie messen können, und seien Sie beim Rest ehrlich.
Die dritte Ebene ist jene, die allgemeine KI-Ratschläge ignorieren und die regulierte Finanzwelt nicht ignorieren kann: Governance. Die KPIs sind hier die Auditierbarkeit — kann der Prozess sich nachträglich ohne Hektik rekonstruieren; die Reduktion operativer Risiken — weniger manuelle Eingriffe bedeuten weniger Wege, auf denen ein Fehler einen Investor erreicht; und die regulatorische Bereitschaft — wie lange ein Audit oder eine FINMA-Anfrage nun zu erfüllen dauert. Diese Returns fallen später an und sind schwerer zu isolieren als eine Durchlaufzeit, also messen Sie sie als Frühindikatoren: Audit-Vorbereitungszeit, die Zahl gefundener Rekonstruktionslücken, die Zahl verbleibender manueller Übergaben. Eine Governance-KPI, die als Gefühl ausgedrückt wird, ist keine KPI.
Womit wir bei den Metriken sind, die man ablehnt. Die Zahl ausgeführter Prompts, die «adoptierten» Seats, die von KI «berührten» Stunden, die isoliert gemessene Genauigkeit eines Modells — das sieht nach Schwung aus und beweist nichts darüber, ob ein Workflow besser wurde. In der regulierten Finanzwelt ist eine Nutzungsmetrik schlimmer als nutzlos: Eine Zahl, die sich ohne Kontrollpunkt dahinter bewegt, ist genau der undokumentierte Pfad, den ein internes Audit beanstandet. Jede KPI, die es wert ist, verfolgt zu werden, hängt an einem Kontrollpunkt und einer verantwortlichen Person. Kann eine Metrik den Prozess, zu dem sie gehört, und die dafür verantwortliche Person nicht benennen, ist sie Dekoration, keine Messung.
Die praktische Umsetzung ist unspektakulär. Schreiben Sie für jede KPI drei Dinge auf: die gemessene Baseline, das erwartete Ziel und die Kadenz, in der eine senior verantwortliche Person sie prüft — monatlich für operative Metriken, quartalsweise für die ökonomischen und die Governance-Metriken. Benennen Sie die verantwortliche Person. Legen Sie sie dorthin, wo Finance und Compliance sie sehen. So gemacht, hört das Messen des Erfolgs der KI-Implementierung auf, ein Slogan zu sein, und wird zum Mechanismus, der dem nächsten Workflow sein Mandat verdient. Es ist dieselbe Disziplin, die sich durch alles zieht, was wir bauen: Beginnen Sie dort, wo die Baseline beweisbar ist, messen Sie sie, und lassen Sie den bewiesenen Fall den nächsten finanzieren.