Zu jedem Quartalsende schreibt jemand denselben Absatz. Der Fonds lag im Plus, die Übergewichtung in Industriewerten half, der Cash-Drag schadete, und die Einschätzung des Managers zu den Zinsen ist im Wesentlichen unverändert. Die Zahlen stammen aus dem Attributionssystem; der Fließtext stammt von einer Person, die es leid ist, ihn zu schreiben. Reporting-Automatisierung bietet sich hier offensichtlich an, und genau hier verbrennen sich viele Teams die Finger, denn das Sprachmodell schreibt diesen Absatz bereitwillig, ganz gleich, ob es die Zahlen hat, die ihn belegen.
Das Fehlermuster ist sehr konkret. Bitten Sie ein Modell, “den Portfoliokommentar für Q1 zu schreiben”, und es liefert etwas Flüssiges und Plausibles. Es behauptet, eine Position in einem Titel habe “stark zur Wertentwicklung beigetragen”, obwohl die Position tatsächlich Geld verloren hat, weil “stark beigetragen” genau die Art Formulierung ist, die in den Trainingsdaten auf einen solchen Satz folgt. Der Text liest sich wie ein Kommentar. Er ist nicht in der Attribution dieses Portfolios verankert. Genau diese Lücke muss geschlossen werden, bevor irgendetwas davon in die Nähe eines Kunden gelangt.
Aus der Attribution erzeugen, nicht aus einem Prompt
Die Lösung besteht darin, den Kommentar nicht länger als freien Text zu behandeln, sondern als Sicht auf das Ergebnis der Performance-Attribution. Das Modell darf die Geschichte nicht erfinden. Es erhält eine strukturierte Menge an Fakten, die vorab berechnet wurde, und seine Aufgabe besteht ausschließlich darin, sie zu formulieren.
In der Praxis bedeutet das: Die Pipeline führt zuerst die Attribution durch und fixiert die Ergebnisse. Für einen gegebenen Zeitraum liegen uns die Rendite vor, die Aufschlüsselung nach Sektor und nach Einzeltitel, der Allokations- gegenüber dem Selektionseffekt, die größten positiven und negativen Beitragsleister sowie die Veränderungen im Bestand seit dem letzten Bericht. Erst danach kommt die Sprache ins Spiel, und jede erzeugte Aussage muss auf einen dieser Werte zurückverweisen.
- Performance-Attribution und Bestandsveränderungen berechnen, bevor irgendein Text erzeugt wird
- Jeden Satz an die konkreten Kennzahlen binden, die er beschreibt, wobei die Zahlen durchgereicht statt umschrieben werden
- Die Summen der Erzählung gegen das Attributionsergebnis abgleichen, damit die im Text genannten Beiträge tatsächlich zur Periodenrendite aufsummieren
- Einen Prüfpfad pflegen, der von jeder Aussage zurück zur Ausgangszahl und zum Lauf führt, der sie erzeugt hat
Der Abgleichsschritt ist derjenige, den die Leute überspringen, und zugleich der wichtigste. Wenn der Kommentar behauptet, drei Titel hätten das Quartal getragen, dann sollten diese drei Beiträge plus der Rest besser jene Zahl ergeben, die in der Performance-Tabelle auf derselben Seite steht. Tun sie es nicht, ist der Bericht auf eine Weise falsch, die ein Kunde bemerken wird.
Gegen selbstsicher-aber-falsch absichern
Den Text in der realen Attribution zu verankern, beseitigt den Großteil der Erfindungen, aber nicht alle. Ein Modell kann immer noch korrekte Zahlen nehmen und einen falschen Schluss ziehen: eine Bewegung auf Rundungsniveau als “signifikant” bezeichnen, ein Ergebnis einem Faktor zuschreiben, den es gar nicht sehen kann, oder eine Manager-Einschätzung fortschreiben, die nicht mehr gilt. Das sind die gefährlichen Fehler, denn sie sind selbstsicher und sie lesen sich gut.
Deshalb beschränken wir die Schlussfolgerung, nicht nur die Eingaben. Vergleichende Formulierungen sind an Schwellenwerte gebunden, die aus den Daten berechnet und nicht vom Modell gewählt werden. Alles, was eine Ursache behauptet, statt lediglich einen Beitrag zu berichten, wird zur Bestätigung durch einen Menschen markiert. Wir bauen Evaluationsdatensätze aus früheren Berichten auf, einschließlich solcher, die versendet und später korrigiert wurden, und bewerten neue Ausgaben daran, damit eine Verschlechterung in Tonfall oder Genauigkeit auffällt, bevor es der Bericht tut. Die Drift verläuft hier schleichend, und genau deshalb misst man sie.
Der Analyst unterschreibt, das System entwirft
Nichts davon macht den Analysten überflüssig. Es verändert, womit er seine Zeit verbringt. Statt den Absatz zu schreiben, prüft er einen Entwurf, der bereits zur Attribution abgestimmt ist und seine Quellen mitführt. Die Analystenprüfung wird zu einer Kontrolle von Urteil und Einordnung, während die Arithmetik bereits geklärt ist, und die Freigabe bleibt bei der Person, nicht beim Modell.
Diese Konstellation ist zugleich das, was die regulatorische Seite handhabbar macht. Alles Kundengerichtete ist ein reguliertes Dokument, und ein Prüfer oder eine Aufsichtsbehörde kann fragen, warum eine Aussage getroffen wurde. Weil jeder Satz auf eine Kennzahl und einen Lauf zurückführt, liegt die Antwort im Prüfpfad und nicht im Gedächtnis einer einzelnen Person. Die Freigabe des Analysten ist die verantwortliche menschliche Entscheidung, die die Regeln erwarten, und die Herkunftskette dahinter ist das, was diese Entscheidung später belastbar macht.
Reporting-Automatisierung bedeutet hier nicht, den Verfasser abzuschaffen. Sie bedeutet, dem Verfasser einen Entwurf zu geben, der bereits korrekt ist, samt einem Nachweis, warum.