Teams behandeln Marktdatenqualität als reine Infrastrukturfrage, als etwas, das die Technik im Hintergrund erledigt, bevor die eigentlich spannende Arbeit beginnt. Dann produziert ein auf diesen Daten trainiertes Modell plötzlich Zahlen, die niemand verteidigen kann, und die Ursachenanalyse führt zurück zu einem veralteten Tick oder zu einem Feed, der einem anderen Feed widersprach. Das Qualitätsproblem war nie vom Modell getrennt. Es war der Input des Modells, und ein Modell weiß nur das, was sein Input ihm mitgeteilt hat.
Für KI und ML wiegt das schwerer als für ein Dashboard, das ein Mensch liest. Wer einen Kurschart überfliegt, bemerkt einen Ausschlag, der auf null abstürzt und wieder zurückspringt. Ein Gradient-Boosting-Modell modelliert ihn brav mit. Stille Qualitätsprobleme melden sich nicht als Fehler; sie werden gelernt, gewichtet und in selbstbewussten Output verwandelt. Genau dieser Fehlermodus verdient den Großteil Ihrer Aufmerksamkeit.
Die Formen, in denen schlechte Marktdaten auftreten
Markt- und Referenzdaten kommen auf eine überschaubare Zahl wiederkehrender Weisen fehlerhaft an, und es lohnt sich, diese zu benennen, statt jeden Vorfall als Überraschung zu behandeln:
- Lücken. Ein Symbol liefert für ein Intervall keine Kurse mehr. Die Pipeline wirft keinen Fehler, sie hat einfach weniger Zeilen, und ein Feature, das über ein Fenster mittelt, mittelt klammheimlich über das falsche Fenster.
- Veraltete Ticks. Derselbe Preis wiederholt sich, weil der Feed verstummt ist, nicht weil der Markt es tat. Volatilitätsfeatures fallen genau dann gegen null, wenn der Markt am wenigsten ruhig ist.
- Ausreißer. Ein Vertipper, eine Dezimalverschiebung, eine Testnachricht, die in den Produktiv-Feed durchgesickert ist. Ein Wert von 1.400, wo 14 gemeint war, verschiebt einen Mittelwert und ruiniert eine Normalisierung.
- Zeitzonen- und Kalenderkonflikte. Ein Feed setzt Zeitstempel in lokaler Börsenzeit, ein anderer in UTC. Ein Feiertagskalender ist um einen Markt versetzt. Die Bars decken sich nach Index, aber nicht nach der Realität, und Sie haben einen Lookahead-Bias, den Sie nicht sehen.
- Datenkorrekturen von Anbietern. Ein Anbieter korrigiert die Historie nachträglich. Der Wert, auf dem Sie letzten Monat trainiert haben, ist nicht der Wert, den der Feed heute zurückgibt, sodass Ihr Trainingsdatensatz und Ihre Live-Daten unterschiedliche Vergangenheiten beschreiben.
- Widersprüchliche Werte über Feeds hinweg. Zwei Anbieter notieren dasselbe Instrument und sind sich beim Schlusskurs uneinig. Welcher davon Ihr Join zufällig erwischt hat, wird per Zufall zur Wahrheit erklärt.
Datenkorrekturen von Anbietern verdienen einen zweiten Blick, denn sie sind die leiseste Variante von allen. Eine Korrektur ohne hinterlegten Stand bricht nichts Sichtbares. Sie bedeutet lediglich, dass ein heute gestarteter Backtest nicht mehr zu jenem passt, den Sie bei der Abnahme des Modells laufen ließen, und Sie haben keine Aufzeichnung darüber, warum. Wenn Sie den Wert nicht so erfassen, wie er an jedem Stichtag galt, ist die Point-in-Time-Korrektheit dahin, und mit ihr jede ehrliche Aussage darüber, was das Modell hätte wissen können.
Validierung, Abgleich, Alarmierung
Die Arbeit teilt sich in drei Aufgaben auf, die sich gegenseitig verstärken.
Die Datenvalidierung ist ein Satz von Regeln, die bei jedem Batch laufen, bevor irgendetwas Nachgelagertes ihn zu Gesicht bekommt. Manche sind günstig und absolut: Preise sind positiv, Zeitstempel fallen in die Handelszeiten des richtigen Kalenders, keine doppelten Schlüssel. Andere sind statistischer Natur. Bei der Ausreißererkennung geht es hier weniger um einen cleveren Algorithmus als um die Wahl einer Baseline, die zum Instrument passt. Ein liquider Large Cap und eine dünn gehandelte Anleihe brauchen unterschiedliche Bänder, und eine Rendite, die sechs Standardabweichungen von einem rollierenden Fenster entfernt liegt, gehört zur Prüfung zurückgehalten, selbst wenn sie sich am Ende als echt erweist. Die Regel sollte unter Quarantäne stellen, nicht stillschweigend verwerfen, denn ein verworfener Ausreißer, den Sie nicht mehr untersuchen können, ist seinerseits eine Form von Datenverlust.
Der Abgleich bedeutet, Quellen zu vergleichen, die übereinstimmen sollten, und festzuhalten, wo sie es nicht tun. Wenn zwei Feeds beim Schlusskurs auseinanderlaufen, wollen Sie eine protokollierte Entscheidung darüber, welcher gewinnt und warum, und keine willkürliche Join-Reihenfolge. Dasselbe gilt über die Zeit: Wird die heute korrigierte Historie gegen den von Ihnen gespeicherten Stand abgeglichen, so wird eine Korrektur zu einem sichtbaren Ereignis mit Audit-Trail, statt zu einer Zahl, die sich unter Ihnen verschoben hat.
Die Alarmierung ist das, was aus alledem statt einer einmaligen Aufräumaktion etwas dauerhaft Tragfähiges macht. Eine Lücke, die mitten in der Woche auftaucht, ein Feed, der für eine Stunde veraltet, ein Abgleichbruch, der eine Schwelle überschreitet: Jedes davon sollte jemanden alarmieren oder ein Ticket öffnen. Eine Validierung, die Sie nicht beobachten, verfällt. Der Sinn liegt darin, von einem Qualitätsproblem aus den eigenen Prüfungen zu erfahren, bevor es von einem Modell gelernt und jemandem gezeigt wurde, der darauf gehandelt hat.
Nichts davon ist glamourös, und das meiste schafft es nie auf eine Folie. Es ist aber zugleich der Unterschied zwischen einem Modell, das Sie einem Risikokomitee vorlegen können, und einem, von dem Sie still hoffen, dass niemand es hinterfragt. Wenn die KI selbstbewusste Antworten liefert, ist das Erste, was Vertrauen verdient, die Datenbasis darunter, und der einzige Weg, ihr zu vertrauen, besteht darin, sie geprüft zu haben.