Reject Inference verantwortungsvoll umgesetzt

Reject Inference bezeichnet die Menge an Verfahren, mit denen Sie schätzen, wie sich abgelehnte Kredite entwickelt hätten, denn Sie beobachten die Rückzahlung nur für die Anträge, die Sie genehmigt haben. Gut gemacht, ist es ein Weg, die Selektionsverzerrung in einer Scorecard zu reduzieren. Nachlässig gemacht, produziert es gefällige Outcomes für genau die Kreditnehmer, denen Ihre aktuelle Policy ohnehin schon misstraut, und es schmeichelt jeder Kennzahl, die Sie danach berichten.

Das Problem ist strukturell. Ihre Trainingsdaten erfassen die Antragsteller, die ein früheres Modell, eine Policy-Schicht und oft einen menschlichen Underwriter passiert haben, niemals die vollständige Population, die einen Antrag gestellt hat. Die Ablehnungen fehlen nicht zufällig. Sie fehlen genau deshalb, weil jemand einen Ausfall prognostiziert hat, was bedeutet, dass die Korrelation zwischen Ihren Features und der Rückzahlung innerhalb der genehmigten Menge nicht die Korrelation in der Population ist, die Sie tatsächlich am oberen Ende des Funnels scoren.

Was Reject Inference wirklich fragt

Wenn Sie eine Scorecard auf genehmigten-und-beobachteten Krediten fitten, schätzen Sie P(Ausfall | Features, genehmigt). Wogegen Sie aber deployen, ist P(Ausfall | Features) für alle, die einen Antrag stellen. Die Lücke zwischen diesen beiden ist der Selektionseffekt, und ihre Größe hängt davon ab, wie aggressiv Ihr früherer Cutoff war und wie viel unbeobachtete Information die frühere Entscheidung genutzt hat.

Wenn die frühere Entscheidung nur Variablen genutzt hat, die Sie noch im Feature Store haben, dann liegt die Selektion auf Observablen, und ein gut spezifiziertes Modell wird damit fertig. Der Haken ist das Residuum. Underwriter sehen Dokumente, rufen Referenzen an, bemerken Dinge, die nie in einer Tabelle landen. Jedes Signal, das die historische Genehmigung getrieben hat, aber in Ihren Features fehlt, taucht als Selektion auf Nicht-Observablen auf, und keine Neugewichtung der genehmigten Daten holt es zurück. Aus demselben Grund kann ein Modell im Backtest kalibriert aussehen und in dem Moment driften, in dem es auf Antragsteller trifft, die die alte Policy abgewiesen hätte.

Reject Inference ist also eine Annahme, die Sie über das Unbeobachtete treffen, verkleidet als Datenschritt. Das ist in Ordnung, solange Sie die Annahme benennen und sie dort prüfen, wo Sie es können.

Die Methoden, und wo jede Sie belügt

Die gängigen Verfahren sind nicht gleich ehrlich. So reihen wir sie ein und das ist es, was jedes stillschweigend annimmt.

• Zufallsgenehmigungs-Holdout. Genehmigen Sie ein kleines, bewusst gewähltes Band von Antragstellern unterhalb Ihres Cutoffs und buchen Sie sie mit kontrolliertem Exposure. Sie haben jetzt reale Outcomes für Ablehnungen. Dies ist die einzige Methode, die Evidenz statt Annahme produziert. Sie kostet Geld in Form erwarteter Verluste, weshalb Sie das Band gegen ein Verlustbudget dimensionieren und es nahe am Cutoff konzentrieren, wo das Modell am unsichersten ist.
• Reject Purchase. Kaufen Sie Bureau-Performance zu abgelehnten Antragstellern, die anderswo einen Kredit aufgenommen haben. Sie erhalten Outcomes, aber zu einer selbstselektierten Teilmenge, die irgendwo Kredit gefunden hat, und ihr Verhalten bei einem fremden Produkt zu einem fremden Preis ist nicht Ihr Counterfactual. Nützlich als Plausibilitätsprüfung, schwach als Ground Truth.
• Heckman-Zweistufenmodell. Schätzen Sie ein Genehmigungsmodell und ein Rückzahlungsmodell gemeinsam und korrigieren Sie das zweite für die Selektion in das erste. In der Theorie sauber. In der Praxis braucht es eine Ausschlussrestriktion, eine Variable, die die Genehmigung bewegt, aber nicht die Rückzahlung, und das Kreditgeschäft bietet selten eine, die einer Prüfung standhält. Ohne sie ist die Korrektur nur über die funktionale Form identifiziert, was eine höfliche Umschreibung dafür ist, dass sie rät.
• Parcelling und Fuzzy Augmentation. Scoren Sie die Ablehnungen mit dem aktuellen Modell, weisen Sie ihnen anhand ihrer prognostizierten Wahrscheinlichkeit einen abgeleiteten Good/Bad-Status zu und falten Sie sie mit Gewichten zurück ins Training. Dies ist die beliebteste Methode und die zirkulärste. Sie bringen dem neuen Modell bei, mit dem alten Modell genau bei den Fällen übereinzustimmen, bei denen Sie keine Möglichkeit zur Prüfung haben. Es stabilisiert Koeffizienten und es kann eine Verzerrung über Jahre zementieren.

Wir setzen Parcelling ein, wenn nichts Besseres bezahlbar ist, und wir behandeln seinen Output als Regularisierer, nicht als Wahrheit. Der Standard, für den wir plädieren, ist ein auf ein Verlustbudget dimensionierter Zufallsgenehmigungs-Holdout, denn es ist das einzige Design, bei dem dem Modell von der Realität widersprochen wird und nicht von seinem eigenen Vorgänger.

Sich in der Validierung ehrlich halten

Der Fehlermodus ist nicht der Inference-Schritt. Es ist das Berichten von Validierungskennzahlen, als wären die abgeleiteten Outcomes beobachtet worden. Wenn Ihr AUC, KS oder Ihre Kalibrierung auf einer Population berechnet wird, die mit modellzugewiesenen Labels aufgefüllt ist, dann beschreiben diese Zahlen die Übereinstimmung des Modells mit seinen eigenen Annahmen.

Woran wir festhalten:

• Berechnen Sie alle Headline-Performance-Kennzahlen ausschließlich auf der genehmigten-und-beobachteten Population. Berichten Sie die Genehmigungsquote daneben, damit ein Leser weiß, welchen Anteil des Funnels die Kennzahl tatsächlich abdeckt.
• Verfolgen Sie Outcomes aus jedem Zufallsgenehmigungs-Band separat und vergleichen Sie die vom Modell prognostizierte Ausfallrate auf diesem Band mit der realisierten Rate. Dies ist die Prüfung, die Selektion auf Nicht-Observablen aufdeckt, denn diese Antragsteller sind ohne das Veto der alten Policy hereingekommen.
• Wahren Sie die Point-in-Time-Korrektheit über die gesamte Übung. Reject Inference vervielfacht die Angriffsfläche für Lookahead: Es ist leicht, den Status einer Ablehnung mithilfe von Bureau-Daten abzuleiten, die nach der ursprünglichen Entscheidung zeitgestempelt sind, was Zukunftsinformation in ein historisches Label einsickern lässt. Jedes abgeleitete Outcome braucht dieselbe As-of-Disziplin wie ein echtes, mit einer Lineage zurück zum Snapshot, aus dem es gebaut wurde.
• Versionieren Sie die Inference-Annahmen im Audit-Trail des Modells. Wenn die Scorecard unter einer Prüfung im Stil von SR 11-7 in die Validierung geht oder die Entscheidung angefochten wird, muss jemand nicht nur die Features rekonstruieren können, sondern auch, welche Ablehnungen abgeleitet wurden, mit welcher Methode und unter welcher Gewichtung.

Reject Inference beseitigt die Selektionsverzerrung nicht. Es ersetzt eine implizite, unsichtbare Annahme durch eine explizite, überprüfbare, und dieser Tausch lohnt sich nur, wenn Sie die Annahme sichtbar halten. In dem Moment, in dem die abgeleiteten Labels nicht mehr als abgeleitet gekennzeichnet werden, haben Sie ein Modell gebaut, das sein eigenes Selbstvertrauen misst und es Genauigkeit nennt.