Die Erklärbarkeit von Modellen im Finanzbereich scheitert meist in dem Moment, in dem sie das Data-Science-Team verlässt. Im Notebook steht ein sauberer SHAP-Summary-Plot, der Modellierer kann durchgehen, welche Merkmale wichtig sind, und alle nicken. Dann geht das Modell in die Validierung, oder ein Kunde fragt, warum er abgelehnt wurde – und die Erklärung, die ausreichend schien, beantwortet plötzlich eine andere Frage als die, die gestellt wird.
Das Problem ist selten ein Mangel an Methoden. Es liegt daran, dass Erklärbarkeit für ein Publikum aus einem einzelnen Data Scientist und Erklärbarkeit für eine Aufsichtsbehörde, einen Modellrisiko-Prüfer oder einen abgelehnten Antragsteller nicht dieselbe Übung sind – und dass man für beides zu denselben Werkzeugen greift.
Global ist nicht lokal
Beginnen wir mit einer Unterscheidung, die ständig verwischt wird. Eine globale Erklärung sagt Ihnen, wie sich das Modell über die gesamte Population verhält: welche Merkmale im Durchschnitt Gewicht tragen, wo die Entscheidungsgrenze liegt. Eine lokale Erklärung sagt Ihnen, warum genau dieser Antragsteller an genau diesem Tag genau diesen Score erhalten hat. Merkmalswichtigkeit und die meisten Surrogatmodelle sind global. Sie sind nützlich, um das Modell zu verstehen und mit einem Validierer über dessen Gesamtlogik zu sprechen. Sie sind nahezu wertlos, wenn Sie einer einzelnen Person eine Begründung für eine einzelne Entscheidung schulden.
SHAP nimmt eine unbequeme Mittelstellung ein. SHAP-Werte werden pro Vorhersage berechnet und sind damit tatsächlich lokal – deshalb stützen sich Teams für Ablehnungsgründe darauf. Doch die Methode hat Grenzen, die man klar benennen sollte:
- Korrelierte Merkmale teilen den Beitrag untereinander auf, sodass dasselbe ökonomische Signal als zwei halb so starke Gründe auftaucht, die einzeln jeweils schwach wirken.
- Der gewählte Hintergrunddatensatz verändert die Werte. Eine SHAP-Erklärung ist relativ zu einer Referenzverteilung – und man vergisst leicht zu dokumentieren, welche das war.
- Approximative SHAP-Varianten können von Durchlauf zu Durchlauf instabil sein, was heikel ist, wenn das Ergebnis eine Zahl ist, die Sie einem Kunden mitteilen.
Surrogatmodelle – das Anpassen eines interpretierbaren Modells, das eine Blackbox nachahmt – liefern Ihnen eine Erzählung, die nur so treu ist wie die Passung des Surrogats. Genau dort, wo Surrogat und reales Modell auseinanderlaufen, brauchen Sie die Erklärung am dringendsten – und genau dort ist sie am wenigsten vertrauenswürdig. Behandeln Sie ein globales Surrogat als Skizze des Verhaltens, nicht als Begründung für eine einzelne Entscheidung.
Ablehnungsgründe sind ein reguliertes Artefakt
Für einen Ablehnungsbescheid (Adverse-Action Notice) brauchen Sie keine getreue Zuordnung der internen Modellrechnung. Sie brauchen eine kleine Menge präziser, priorisierter Gründe, mit denen eine Person etwas anfangen kann und die tatsächlich dem entsprechen, woran ihr Score gescheitert ist. Das ist eine engere und schwierigere Anforderung als ein SHAP-Plot. Die Gründe müssen stabil sein, in Faktoren formuliert, die der Antragsteller wiedererkennt, und mit dem tatsächlichen Verhalten des Modells in Einklang zu bringen sein – nicht eine nachträgliche Rationalisierung.
Zwei Erklärungen, die einem Modellierer identisch erscheinen, können hier sehr unterschiedlich ankommen. „Die Kreditauslastung trug -0,3 zu den Log-Odds bei“ befriedigt einen Data Scientist. Für den Kunden leistet sie nichts, und eine Aufsichtsbehörde, die eine Konformitätsbewertung prüft, will sehen, dass die Ablehnungsgründe durch ein dokumentiertes, wiederholbares Verfahren mit Prüfpfad entstanden sind – und nicht aus einem Diagramm abgelesen wurden. Die Lücke zwischen diesen beiden ist genau die Stelle, an der die meisten Erklärbarkeitsprogramme still und leise scheitern.
Wann man auf die Erklärung ganz verzichtet
Es gibt eine wiederkehrende Entscheidung, die Teams zu lange aufschieben: eine Blackbox nachträglich erklären – oder von vornherein ein interpretierbares ML-Modell einsetzen. Wenn die Entscheidung weitreichend ist, die Population eine ist, der Sie Gründe schulden, und der Genauigkeitsabstand zwischen einem monotonen Gradient-Boosting-Modell oder einer beschränkten Scorecard und der unbeschränkten Blackbox gering ist, dann ist das interpretierbare Modell meist die bessere ingenieurtechnische Entscheidung. Sie erhalten Ablehnungsgründe, die das Modell selbst sind und nicht eine Näherung davon, und Drift lässt sich leichter überwachen, weil die Struktur lesbar ist.
Die ehrliche Position lautet: Nachträgliche Modell-Erklärbarkeit ist ein Werkzeug für die Fälle, in denen ein interpretierbares Modell Sie wirklich zu viel Leistung kostet, um es zu akzeptieren. Sie ist kein kostenloses Upgrade, das man jedem Modell aufschnallt, um es prüfbar zu machen. Entscheiden Sie vor dem Training, in welchem Regime Sie sich befinden – nicht erst, wenn ein Validierer die Frage stellt, die Sie nicht beantworten können.