KI IM FINANZBEREICH · MESSKONZEPT · RECHENBEISPIEL

KI-Pilot im Finanzbereich: Nutzen und ROI richtig messen

Baseline, Fehlerquote, Kontrollaufwand, Kapazitätswert und Sensitivität: ein vollständiges Messkonzept statt einer isolierten Zeitersparnis.

Illustration analytischer Arbeit mit Notizen und Berichtsgrafiken
Illustrative Darstellung · KI-generiert
Die kurze Antwort

Vergleichen Sie den kompletten Ablauf bei derselben Qualitätsanforderung. Frei werdende Zeit ist zunächst Kapazität; ein finanzieller Effekt muss getrennt belegt werden.

Für Finanzleitung, Controlling und Verantwortliche für Finanzprozesse. Quellen sind an den jeweiligen Aussagen und am Ende des Beitrags verlinkt. Die Arbeitsmodelle stammen von Praxishebel; Rechenbeispiele sind fiktiv.

Die Entscheidung vor dem Versuch festlegen

Ein Pilot beantwortet eine Entscheidung: „Soll dieser klar beschriebene Anwendungsfall ausgeweitet, verändert oder beendet werden?“ Definieren Sie dafür Aufgabe, Empfänger, Mindestqualität, unzulässige Fehler und Vergleichsverfahren, bevor die erste KI-Ausgabe entsteht. Der NIST AI RMF sieht Messung im Kontext der Anwendung und ihrer Auswirkungen vor [1]. Eine generische Demo ist kein Wirkungsnachweis.

Das Buchprojekt „KI im Controlling und Finanzwesen“ trennt vier Nutzenebenen: freigewordene Kapazität, Prozessqualität, bessere Entscheidungsvorbereitung und finanzielle Wirkung. Diese Ebenen brauchen unterschiedliche Belege. Eine schnellere Formulierung kann einen Bericht verschlechtern, wenn ungeprüfte Aussagen häufiger erscheinen.

Eine vergleichbare Baseline bauen

Messen Sie vor dem Pilot denselben Aufgabenumfang mit der bisherigen Arbeitsweise. Erfassen Sie Vorbereitung, Durchführung, Prüfung, Korrektur, Eskalation und Dokumentation. Zählen Sie verwendbare Ergebnisse und definieren Sie Fehlerklassen: Rechenfehler, unbelegte Ursache, ausgelassene relevante Information, Vertraulichkeitsverstoß. Wählen Sie Fälle aus normalen und schwierigen Monaten; Kennzeichen für Besonderheiten bleiben sichtbar.

Die NBER-Studie „Generative AI at Work“ beobachtete Produktivitätsänderungen in einem Kundenservicekontext [2]. Sie zeigt, dass Wirkung empirisch gemessen werden kann, ist aber kein Effektwert für Controlling. Eine eigene Baseline und eine vergleichbare Kontroll- oder Vorher-nachher-Betrachtung sind erforderlich.

Gleiche Qualität und gleichen Umfang vergleichen

Wenn die bisherige Bearbeitung 30 Minuten einschließlich Prüfung benötigt, muss die neue Messung alles enthalten: z. B. 8 Minuten Datenvorbereitung und Entwurf, 9 Minuten Prüfung, 3 Minuten Korrektur. Insgesamt sind das 20 Minuten und damit 10 Minuten Differenz pro verwendbarem Vorgang. Fehlversuche oder verworfene Ausgaben müssen den Durchschnitt erhöhen, nicht aus der Stichprobe verschwinden.

Bei 40 vergleichbaren Vorgängen sind rechnerisch 400 Minuten bzw. 6,67 Stunden Kapazität frei. Wenn vier weitere Fälle wegen Qualitätsfehlern jeweils 20 Minuten zusätzliche Nacharbeit auslösen, sinkt der Nettoeffekt bereits auf 320 Minuten. Zeigen Sie beide Zahlen und die zugrunde liegende Fallzahl.

Kapazitätswert und zahlungswirksamen Effekt trennen

Fiktiver MonatswertRechnungBedeutung
Kapazität6,67 Std. × 60 € = ca. 400 €Bewertete interne Zeit
Zusätzliche laufende Kosten100 €Werkzeug und Betrieb
Netto-Kapazitätswertca. 300 €Kein Cashflow
Einmalige Einführung12 Std. × 60 € = 720 €Investition im Modell

Nur wenn beispielsweise externe Leistungen tatsächlich wegfallen oder bezahlte Mehrarbeit entfällt, entsteht daraus ein nachweisbarer Zahlungs- oder Kosteneffekt. „ROI“ gehört erst auf die Folie, wenn Nutzenart, einmalige und laufende Kosten, Zeitraum und Unsicherheit geklärt sind. Eine einfache Amortisationsdauer von 720 € / 300 € = 2,4 Monaten beschreibt in diesem Beispiel bloß den Kapazitätswert unter konstanten Annahmen, keine Finanzrendite.

Mit Qualitätsgrenzen und Sensitivitäten entscheiden

Definieren Sie vorab: maximale kritische Fehlerzahl, Mindestanteil verwendbarer Entwürfe, zulässige Kontrollzeit und Verantwortlichkeit bei Ausfall. NISTs Generative AI Profile behandelt die besonderen Fehler- und Vertrauensrisiken generativer Systeme [3]. Prüfen Sie außerdem, wie sich das Ergebnis bei halbierter Fallzahl, doppelt so vielen Ausnahmen oder höheren Werkzeugkosten verändert.

Entscheidungsregel: Fortführen, wenn Qualität und Gesamtaufwand über mehrere Zyklen tragen. Ändern, wenn Eingabe oder Kontrolle verbessert werden kann. Stoppen, wenn kritische Fehler nicht beherrscht werden oder die Gesamtarbeit steigt. Dokumentieren Sie auch den gestoppten Versuch.

Warum ein einfacher Vorher-nachher-Vergleich täuschen kann

Die Fallzusammensetzung ändert sich. Im Pilot bearbeitet vielleicht eine besonders erfahrene Controllerin besonders einfache Fälle; später kommen neue Kolleginnen, andere Gesellschaften und schwierige Ausnahmen hinzu. Schreiben Sie deshalb vorab auf, welche Fälle in die Stichprobe gehören. Falls möglich, verteilen Sie vergleichbare Fälle auf den bisherigen und den neuen Ablauf oder lassen Sie denselben fachlichen Prüfmaßstab auf beide Ergebnisse anwenden. Ein kleiner Pilot bleibt dennoch eine Entscheidungshilfe und kein statistischer Wirksamkeitsnachweis für alle künftigen Perioden.

Trennen Sie außerdem zwei Arten von Fehlern: solche, die bereits im Altprozess auftreten, und neu eingeführte Fehler der KI-Nutzung. Korrektur nach Managementversand wiegt schwerer als ein im Schattenbetrieb erkannter Formulierungsfehler. Wer nur durchschnittliche Minuten berichtet, übersieht diese Verteilung. Zeigen Sie Fallzahl, Median und Spannweite der Bearbeitungszeit und benennen Sie den schlechtesten fachlich relevanten Fall. Das macht die Entscheidung über Kontrollen belastbarer.

Ein kleines Erhebungsblatt für den nächsten Test

Eine Zeile je Fall: Falltyp, Altzeit, neue Vorbereitungszeit, Entwurfszeit, Prüfzeit, Nacharbeit, verwendbar ja/nein, Fehlerklasse, verantwortliche Freigabe. Eine zweite Übersicht enthält Investition, laufende Kosten, Fallzahl und Bandbreiten. Nutzen Sie für Reporting-Versuche das Praxishebel-Prüf- und Pilotdossier; es verbindet Ergebnisvertrag, Testfälle und Messung.

Quellen und Einordnung

Die Quellen stützen die fachlichen Grundsätze an den gekennzeichneten Stellen. Die konkreten Prüffragen, Abläufe und fiktiven Berechnungen sind redaktionelle Praxishebel-Arbeitshilfen.

  1. NIST, AI Risk Management Framework 1.0 (2023)
  2. Brynjolfsson, Li, Raymond, Generative AI at Work, NBER Working Paper 31161 (2023)
  3. NIST, Generative AI Profile zum AI RMF (2024)