Forward-Deployed Team · Banking
Ein privates LLM in acht Wochen innerhalb der Sicherheitsgrenze einer Bank in Betrieb nehmen
Ein eingebettetes Rexto-Team arbeitet gemeinsam mit dem Plattform-Team einer Geschäftsbank, um ein On-Premises-Retrieval-System aufzubauen, das Kreditanalysten tatsächlich nutzen.
Die Ausgangslage
Das Kreditteam einer mittelgroßen Geschäftsbank verbrachte pro Kreditakte Stunden damit, Covenant-Klauseln, Jahresabschlüsse und frühere Kreditvorlagen manuell abzugleichen, verteilt über ein Dokumentenmanagementsystem und E-Mail-Verläufe. Die Compliance-Abteilung hatte jedes SaaS-LLM-Tool bereits ausgeschlossen, das Finanzdaten von Kunden außerhalb des Banknetzwerks versenden würde.
Das bankeigene Plattform-Team verfügte über Kubernetes- und GPU-Kapazitäten, aber niemanden, der ein LLM-System schon einmal über die Proof-of-Concept-Phase hinausgeführt hatte, und keine freien Kapazitäten, um ein solches System neben dem laufenden Betrieb aufzubauen.
Was wir bauen
Ein zweiköpfiges Rexto-Team wird für die Dauer des Projekts in das Plattform-Team der Bank eingebettet und arbeitet über das bankeigene Ticketsystem und den bestehenden Sprint-Rhythmus, statt einen separaten Projektplan zu führen.
- Retrieval-Schicht — Eine Ingestion-Pipeline, die Kreditakten, Covenant-Übersichten und Kreditvorlagen aus dem bestehenden Dokumentenmanagementsystem indiziert, mit einer Zugriffskontrolle, die das bestehende Berechtigungsmodell der Bank widerspiegelt.
- Modellbereitstellung — Ein Open-Weight-Modell, das auf den bestehenden GPU-Knoten der Bank innerhalb ihrer VPC bereitgestellt wird: Keine API-Aufrufe verlassen die Systemgrenze, und keine Daten werden zum Training von irgendetwas außerhalb der Bankumgebung verwendet.
- Analysten-Workflow — Eine Abfrageoberfläche innerhalb des Tools, das Kreditanalysten bereits nutzen, die zu jeder Aussage das Quelldokument und die entsprechende Seite mitliefert.
Zeitplan der Umsetzung
Was Ihr Team verantwortet
Ab Woche 8 verantwortet das Plattform-Team der Bank die Bereitstellung: die Modellbereitstellungs-Infrastruktur, das Monitoring der Retrieval-Pipeline und die Zuordnung der Zugriffsrechte. Rexto übergibt Runbooks und bleibt für ein festgelegtes Support-Fenster erreichbar, ohne unbefristete Abhängigkeit.
Was Sie erwarten können
- Kreditanalysten können Kreditunterlagen in natürlicher Sprache abfragen und erhalten eine Antwort mit Quellenangabe, direkt im bestehenden Bearbeitungstool.
- Zu keinem Zeitpunkt in der Pipeline verlassen Finanzdaten von Kunden das Banknetzwerk.
- Das Plattform-Team der Bank kann das Retrieval-System ohne Rexto im Raum neu bereitstellen oder erweitern.
- Zugriffskontrolle und Audit-Logging entsprechen von Tag eins an den bestehenden Modell-Governance-Anforderungen der Bank.