Viele Teams sind überzeugt, das Thema Fairness erledigt zu haben, weil sie Herkunft, Geschlecht und Alter aus dem Merkmalssatz entfernt haben. Das Feld ist weg, also kann das Modell nicht diskriminieren. Genau in dieser Überzeugung steckt der größte Teil des tatsächlichen Risikos.
Ein Modell, das darauf trainiert ist, Zahlungsausfall oder Zahlungsbereitschaft vorherzusagen, rekonstruiert ein geschütztes Merkmal bereitwillig aus allen Proxys, die übrig bleiben. Die Postleitzahl trägt es. Der Beruf trägt es. Ebenso die Struktur der Transaktionshistorie einer Person, die Händler, bei denen sie zahlt, der Zeitpunkt ihrer Zahlungseingänge. Lassen Sie das geschützte Merkmal weg, und ein hinreichend flexibles Modell setzt aus dem Rest einen passenden Stellvertreter zusammen und verwendet diesen. Der Einfluss steckt weiterhin im Modell. Sie können ihn nur nicht mehr direkt sehen. Das ist Proxy-Diskriminierung, und das Weglassen eines Feldes beseitigt sie nicht.
Die Frage lautet also nicht „Haben wir das Merkmal ausgeschlossen?”, sondern „Variiert die Ausgabe des Modells mit dem Merkmal, auf welchem Weg auch immer?”. Das zu beantworten erfordert Tests, nicht das Durchsehen der Merkmalsliste.
Zwei Dinge, auf die Sie tatsächlich testen
Es gibt zwei verschiedene Fehlerbilder, und sie verlangen unterschiedliche Tests.
- Mittelbare Diskriminierung (Disparate Impact): Die Entscheidungen des Modells fallen über geschützte Gruppen hinweg unterschiedlich aus, unabhängig von der Absicht. Sie messen das an den Ergebnissen. Bei einer Kreditentscheidung vergleichen Sie Bewilligungsquoten oder Score-Verteilungen über Gruppen hinweg und betrachten die Verhältniswerte. Beim Pricing vergleichen Sie den angebotenen Preis oder Zinssatz. Die Point-in-Time-Disziplin ist auch hier entscheidend: Sie vergleichen die Ergebnisse, die das Modell auf Basis der zum Entscheidungszeitpunkt bekannten Daten erzeugt hätte, nicht eine rückwirkend ergänzte Sicht.
- Proxy-Diskriminierung: Das Modell hat das geschützte Merkmal intern rekonstruiert. Sie testen das, indem Sie prüfen, wie gut die Merkmale des Modells oder sein Score das geschützte Merkmal vorhersagen, das Sie vermeintlich entfernt haben. Wenn eine Handvoll Merkmale die Gruppenzugehörigkeit sauber vorhersagt, haben Sie einen Proxy, und meist können Sie ihn auch benennen.
Beides setzt etwas voraus, das viele Teams nicht aufbewahren: die geschützten Merkmale selbst, separat gehalten, ausschließlich für Tests verwendet und niemals als Modelleingaben. Sie können keine Fair-Lending-Tests auf Daten durchführen, bei denen Sie die Labels verworfen haben. Das Merkmal muss irgendwo vorhanden sein, wo Sie danach segmentieren können.
Bauen Sie die Held-out-Testdatensätze auf und lassen Sie sie nach Zeitplan laufen
Fairness ist kein einmaliges Zertifikat. Ein Modell driftet, die Population verändert sich, ein neuer Datenstrom verändert, wie die Proxys aussehen. Ein Modell, das im März bestanden hat, kann im September durchfallen, ohne dass jemand den Code angefasst hat.
Die Arbeit ist also strukturell angelegt. Wir bauen Held-out-Testdatensätze auf, die nach jedem für das Produkt relevanten geschützten Merkmal segmentiert sind, und zwar so dimensioniert, dass die Segmente groß genug für eine belastbare Aussage sind. Diese Datensätze speisen einen Bias-Test-Lauf, der jedes Mal dieselben Kennzahlen erzeugt: Disparate-Impact-Verhältniswerte pro Gruppe, Proxy-Vorhersage-Scores und die Merkmale, die diese treiben. Der Lauf folgt einem Zeitplan. Das Quartalsende ist für viele Kreditgeber ein naheliegender Takt, aber das richtige Intervall ist dasjenige, das zur Geschwindigkeit Ihrer Datenbewegung passt.
Und dann bewahren Sie die Ergebnisse auf. Jeden Lauf, datiert, mit der Modellversion und dem Datenstand, gegen den er gelaufen ist. Das ist dieselbe Logik einer Prüfspur wie bei der Data Lineage: Wenn ein Prüfer fragt, ob das Modell an dem Tag fair war, an dem es eine Entscheidung getroffen hat, ist „Wir glauben schon” keine Antwort. Ein gespeichertes Testergebnis schon. Es zeigt zudem Ihrem eigenen Team, wann eine Fairness-Kennzahl zu kippen begann und welches Release sie bewegt hat, genauso wie ein Eval-Set eine Qualitätsregression aufdeckt.
Wo das aufseiten der Regulierung landet
Zwei Regelungsbereiche sollten Sie im Blick behalten, und keiner der folgenden Hinweise ist eine Rechtsberatung.
Die US-amerikanischen Fair-Lending-Vorschriften stellen auf mittelbare Diskriminierung und auf die Erklärbarkeit einer negativen Entscheidung ab. Die Mitteilung über eine negative Entscheidung (Adverse Action Notice) und ihre Begründungscodes müssen widerspiegeln, was das Modell tatsächlich getan hat, was schwerfällt, wenn Sie nie getestet haben, was das Modell tatsächlich getan hat. Der Disparate-Impact-Test ist der Nachweis, dass die Erklärung ehrlich ist.
Der EU AI Act stuft große Teile des Credit Scorings als hochriskant ein, mit Anforderungen an Daten-Governance, Dokumentation und Konformitätsbewertung. Ein geplanter Fairness-Test mit aufbewahrten Ergebnissen ist eine konkrete Möglichkeit zu zeigen, dass die Bias-Arbeit geleistet wurde und fortlaufend stattfindet, statt sie einmalig zum Launch lediglich zu behaupten.
Der rote Faden ist an beiden Stellen derselbe. Ein Feld zu entfernen ist eine Behauptung. Ein Test, den Sie durchgeführt haben, auf einem Held-out-Set, nach einem Zeitplan, mit schriftlich festgehaltenem Ergebnis, ist der Nachweis. Bauen Sie den Nachweis auf.