On-Prem, VPC oder API: KI-Hosting in der regulierten Finanzwelt

Wo das Modell läuft, entscheidet darüber, wer die Daten sehen kann, welcher Regulator Anspruch darauf hat und was Sie in einem Audit nachweisen müssen. Für die meisten Workloads lautet die Antwort: eine öffentliche API mit Zero-Retention-Konditionen und fixierter Region. Ein VPC-Deployment kommt zum Einsatz, wenn Daten Ihre Tenancy nicht verlassen dürfen, und selbst gehostete Open Weights nur dann, wenn Residenz oder Latenz es erzwingen. Die technischen Unterschiede sind kleiner als die vertraglichen.

Genau dieser letzte Punkt bringt viele Teams ins Straucheln. Die Engineering-Seite vergleicht Tokens pro Sekunde und Kontextfenster. Die Compliance-Funktion vergleicht Datenflüsse, Subprozessoren und das Land, in dem die Anfrage landet. Beide betrachten dieselben drei Optionen – und reihen sie unterschiedlich. Aufgabe einer KI-Architektur ist es, eine Wahl zu treffen, die sich auf beiden Achsen zugleich verteidigen lässt.

Die drei Ausprägungen – und was jede tatsächlich kostet

Zieht man das Marketing ab, bleiben für ein Sprachmodell im Finanzwesen drei Hosting-Ausprägungen.

• Öffentliche API. Sie schicken einen Prompt an den geteilten Endpoint eines Anbieters und bekommen eine Completion zurück. Das ist der günstigste Einstieg und der schnellste Weg zu den besten Modellen – und zugleich die Variante, die Ihr Risikoteam am härtesten hinterfragt. Der Prompt verlässt Ihre Umgebung. Ob das akzeptabel ist, hängt von den Konditionen ab, die an den Endpoint geknüpft sind, nicht vom Endpoint selbst.
• VPC- oder dediziertes Deployment. Der Anbieter betreibt das Modell innerhalb Ihrer Cloud-Tenancy oder stellt Ihnen eine Single-Tenant-Instanz in einer von Ihnen benannten Region bereit. Der Datenpfad bleibt innerhalb einer Grenze, die Sie kontrollieren und in einem Diagramm zeigen können. Bezahlt wird das mit höheren Kosten, weniger Modelloptionen und einem langsameren Zugang zu dem, was das führende Labor letzte Woche ausgeliefert hat.
• Selbst gehostete Open Weights. Sie laden die Gewichte herunter und betreiben sie auf Ihren eigenen GPUs, on-prem oder in Ihrem eigenen Cloud-Konto. Nichts an der Anfrage berührt einen Dritten. Im Gegenzug übernehmen Sie den gesamten Lifecycle: Patching, Kapazität, Quantisierungsentscheidungen, das Eval-Harness und jede Regression, wenn Sie einen Checkpoint aktualisieren.

Im regulierten Umfeld greift der Reflex sofort zur dritten Option, weil sie am sichersten wirkt. Sie beseitigt ein Problem – die Datenübermittlung an Dritte – und handelt Ihnen mehrere andere ein. Ein selbst gehostetes Modell, das nach einem Upgrade niemand neu evaluiert, driftet auf Ihrem Workload lautlos ab. On-Prem-GPUs, die außerhalb des Quartalsendes brachliegen, sind eine teure Versicherung. Das Framing „sicher per Default” verdeckt die operative Rechnung.

Beim Datum ansetzen, nicht beim Modell

Bevor Sie Hosting-Optionen vergleichen, klassifizieren Sie, was tatsächlich in den Prompt geht. Die Hosting-Entscheidung ergibt sich aus der Datenklasse – und die ist meist feinkörniger als „wir arbeiten mit Finanzdaten”.

• Stecken personenbezogene Daten im Prompt, und unter welcher Jurisdiktion? Ein DSGVO-Betroffener und ein US-Verbraucher unter GLBA ziehen unterschiedliche Residenz- und Offenlegungspflichten nach sich.
• Handelt es sich beim Payload um wesentliche nicht öffentliche Informationen, Positionen oder irgendetwas, das bei einem Leck einen Markt bewegen würde? MNPI unterliegt intern oft strengeren Handhabungsregeln, als es das Gesetz strikt verlangt.
• Trägt das Datum eine Residenzpflicht – aus einem Regulator, einem Kundenvertrag oder Ihrer eigenen Policy –, die eine Region benennt oder eine Übermittlung untersagt?
• Wie sieht die Lineage-Story aus? Landet eine Completion in einem eingereichten Dokument oder einer kundengerichteten Entscheidung, müssen Sie zeigen, woher der Input stammt, und die exakte Anfrage Monate später rekonstruieren können.

Ist das Datum einmal klassifiziert, löst sich ein großer Teil der Debatte auf. Öffentliche, MNPI-freie Referenzdaten ohne personenbezogene Felder können ohne großes Aufheben an eine Zero-Retention-API gehen. Ein Prompt mit Kunden-PII unter einer Datenresidenz-Klausel, die Frankfurt benennt, darf eine EU-Grenze nicht verlassen – womit der geteilte US-Endpoint schon aus Vertragsgründen ausscheidet, bevor Sie überhaupt benchmarken. Modellqualität zählt erst innerhalb der Optionen, die die Datenklasse ohnehin zulässt.

Hier wird auch der Audit-Trail entworfen, statt ihn nachträglich anzuschrauben. Jeder Inferenz-Aufruf in einem regulierten Flow sollte den Prompt, das Modell samt Version, die Region der Ausführung und einen Hash protokollieren, der die Completion mit dem Datensatz verknüpft, aus dem sie gespeist wurde. Wenn ein Aufseher fragt, wie eine im März per Straight-Through Processing getroffene Entscheidung zustande kam, muss die Antwort rekonstruierbar sein – ohne den Bereitschafts-Engineer zu wecken.

DORA hat die Rechnung verändert – und zwar nicht in die erwartete Richtung

Nach dem EU-Digital-Operational-Resilience-Act (DORA) ist ein externer Modellanbieter ein IKT-Drittdienstleister. Unterstützt der Workload eine kritische oder wichtige Funktion, fällt der Anbieter in Ihr Rahmenwerk für IKT-Drittparteienrisiko: Vertragsklauseln zu Subprozessoren, Audit- und Zugriffsrechte, eine Ausstiegsstrategie und die Aufnahme in Ihr Informationsregister. Nichts davon macht die API zur Abkürzung an der Governance vorbei. Sie steuern den Anbieter wie jede andere kritische Abhängigkeit.

Zwei Konsequenzen folgen daraus, die Teams gerne übersehen.

• Self-Hosting hält Sie innerhalb des Rahmenwerks. Das Modell ins Haus zu holen, beseitigt die Drittübermittlung, doch die Pflichten zur operationellen Resilienz liegen nun direkt bei Ihnen: Kapazitätsplanung, Incident Response, Resilienztests. Sie tauschen einen Lieferanten, den Sie beaufsichtigen müssen, gegen ein System, das Sie betreiben müssen. Beides ist nicht kostenlos.
• Konzentrationsrisiko ist real. Wenn Ihr Fraud-Scoring, Ihre Kreditvermerke und Ihr Kundenservice allesamt zu den Endpoints eines einzigen Anbieters laufen, ist das eine einzelne Abhängigkeit, die dem Regulator auffallen wird. Teil der Hosting-Entscheidung ist die Frage, ob ein Fallback-Pfad – ein zweiter Anbieter oder ein selbst gehostetes Modell hinter einem Feature-Flag – den Aufwand wert ist, bevor Sie ihn brauchen.

Nichts davon spricht für die eine oder andere Ausprägung. Es spricht dafür, die Wahl pro Workload zu treffen, ausgehend von der Datenklasse – wobei Vertrag und Audit-Trail als erstklassige Bestandteile des Designs behandelt werden und nicht als Papierkram, den man hinterher anheftet. Ein Fraud-Modell, das jede Transaktion scort, und ein quartalsweiser Job zur Textgenerierung ziehen unterschiedliche Residenz-Exposition und sehr unterschiedliche Latenzbudgets nach sich. Das eine braucht eine Antwort unter 100 ms im Zahlungspfad; das andere läuft über Nacht zum Quartalsende. Sie verdienen selten dieselbe Hosting-Antwort – und sie auf eine Plattform zu zwingen, um die Architektur aufgeräumt zu halten, ist genau der Weg, auf dem aus einem verteidigungsfähigen System ein fragiles wird.