Private KI
Warum regulierte Unternehmen innerhalb des eigenen Perimeters bereitstellen, nicht über eine öffentliche API
Die meisten LLM-Produkte sind um eine öffentliche API herum gebaut: Ihre Daten verlassen Ihr Netzwerk, gehen an einen externen Modellanbieter und kommen mit einer Antwort zurück. Für alles, was Kontodaten, KYC-Dokumente, Kreditunterlagen oder nicht-öffentliche Deal-Informationen betrifft, ist das kein Ausgangspunkt, den Ihr Compliance- oder Sicherheitsteam absegnen wird, ganz gleich, wie gut das Modell ist.
Drei regulatorische Rahmenwerke machen das Argument für die Bereitstellung im eigenen Perimeter konkret statt theoretisch. Die EU-KI-Verordnung (EU AI Act) stuft Kreditwürdigkeitsprüfung sowie die Risikobepreisung in der Lebens- und Krankenversicherung gemäß Anhang III als Hochrisiko ein, was Dokumentations-, Aufsichts- und Audit-Trail-Pflichten mit sich bringt, unabhängig davon, wo das Modell läuft. Der Betrieb innerhalb Ihrer eigenen Infrastruktur macht es jedoch deutlich leichter, diese Pflichten zu erfüllen, als sie nach einem Pilotprojekt mit öffentlicher API nachträglich einzubauen. DORA behandelt eine gehostete Modell-API wie jeden anderen Drittanbieter als IKT-Drittparteirisiko, das derselben Prüfung auf operationelle Resilienz und Konzentrationsrisiko unterliegt wie Ihr Kernbanken-Anbieter. Und die DSGVO wirft eine Frage zur grenzüberschreitenden Datenübermittlung auf, sobald personenbezogene Kundendaten oder Kontodaten an einen Modell-Endpunkt außerhalb der EU gelangen, eine Frage, die die meisten Datenschutzbeauftragten lieber nicht beantworten müssten.
Das ist kein pauschales Argument dafür, alles im eigenen Perimeter zu behalten. Manche Workloads profitieren tatsächlich von einem Frontier-Modell hinter einem sorgfältig abgegrenzten, protokollierten API-Aufruf; andere brauchen nicht mehr als ein kleineres Open-Weight-Modell auf Hardware, die Sie bereits besitzen. Zu entscheiden, welches wo zutrifft, gestützt auf eine Evaluation anhand Ihrer eigenen Daten statt einer Benchmark-Bestenliste, ist das erste Ergebnis eines Engagements, kein nachträglicher Gedanke. So oder so liegt die Bereitstellung auf einer Infrastruktur, die Ihr Sicherheitsteam bereits überwacht, nicht auf einem neuen Perimeter, den es erst noch verteidigen lernen muss.
EU-KI-Verordnung (EU AI Act)
Kreditwürdigkeitsprüfung sowie die Risikobepreisung in der Lebens- und Krankenversicherung fallen gemäß Anhang III als Hochrisiko-Anwendungen; diese Klassifizierung bringt Dokumentations-, Aufsichts- und Audit-Trail-Pflichten mit sich, die sich von Tag eins an weit leichter einbauen lassen, als sie nachträglich zu ergänzen, nachdem eine aufsichtsrechtliche Prüfung die Lücke aufgedeckt hat.
DORA
Eine gehostete Modell-API ist ein IKT-Drittparteirisiko wie jeder andere Anbieter auch, das unter DORA derselben Prüfung auf operationelle Resilienz und Konzentrationsrisiko unterliegt. Der Betrieb des Modells innerhalb Ihrer eigenen Infrastruktur entfernt diese Abhängigkeit vollständig aus dem Register.
DSGVO (GDPR)
Das Senden personenbezogener Kundendaten oder Kontodaten an einen Modell-Endpunkt außerhalb der EU wirft eine Frage zur grenzüberschreitenden Übermittlung auf, die Ihr Datenschutzbeauftragter vor dem Go-live stellen wird. Eine Bereitstellung im eigenen Perimeter hält die Daten und die Verarbeitung innerhalb der Jurisdiktion, in der sie sich bereits befinden.
Bestehende Modellrisiko-Governance
Die meisten Unternehmen verfügen bereits über ein internes Modellrisiko-Framework, das für Pricing- und Kreditmodelle entwickelt wurde. Ein KI-System im eigenen Perimeter wird so gebaut, dass es innerhalb desselben Frameworks lebt: protokolliert, versioniert und überprüfbar, statt zu einem Schatten-System zu werden, das niemand abgesegnet hat.