Zum Inhalt springen
Alle Insights Private KI & selbst gehostete LLMs

Fine-Tuning oder RAG für private Daten

Eine Entscheidungsreihenfolge für private Unternehmensdaten: wann Retrieval gewinnt, wann Fine-Tuning gewinnt, was LoRA ändert und zu welchen Wartungskosten jede Wahl verpflichtet.

6 Min. Lesezeit #private-ai#rag#Fine-Tuning
Fachleute aus dem Finanzsektor bei der Arbeit an einer KI-Initiative

Die Frage kommt gerahmt als Wahl zwischen zwei Technologien, und meist ist sie keine. Ein Team hat private Daten, einen Anwendungsfall und eine Erwartung aus dem Vorstand, und jemand hat ihm gesagt, mit Fine-Tuning bringe man ein Modell dazu, “das eigene Geschäft zu kennen”. Sechs Wochen später gibt es einen Datensatz, den niemand pflegen kann, einen Trainingslauf, der den Ton verbessert und die Genauigkeit verschlechtert hat, und keine Möglichkeit zu erklären, woher irgendeine Antwort stammt.

Die brauchbare Umdeutung: Retrieval und Fine-Tuning lösen unterschiedliche Fehlermuster. Retrieval löst “das Modell kennt diesen Fakt nicht”. Fine-Tuning löst “das Modell weiß genug, antwortet aber falsch”. Fast jedes enttäuschende Ergebnis, das wir prüfen sollen, entsteht daraus, das eine auf das Problem des anderen anzuwenden, und die Richtung des Fehlers ist fast immer dieselbe: Fine-Tuning auf ein Wissensproblem angewendet.

Für private Unternehmensdaten ist der Standard 2026 Retrieval, und der Abstand ist nicht knapp. Wissen, das sich ändert, zitierfähig sein muss oder Lösch- und Prüfpflichten unterliegt, gehört in einen Index, den Sie kontrollieren, nicht in Gewichte, die Sie zur Korrektur neu trainieren müssten. Fine-Tuning verdient seinen Platz danach, bei einer engeren Frage.

Was Retrieval liefert und Gewichte nicht können

Drei Eigenschaften entscheiden die meisten regulierten Deployments, und nur ein Ansatz hat sie.

  • Aktualisierungslatenz. Eine Richtlinienänderung erreicht ein Retrieval-System, sobald das Dokument neu indexiert ist. Ein feinjustiertes Modell erreicht sie beim nächsten Trainingszyklus, und dazwischen behauptet das Modell die überholte Fassung ohne jeden Hinweis darauf, dass etwas nicht stimmt.
  • Zuordnung. Gefundene Passagen lassen sich dem Nutzer zeigen, von einer prüfenden Person kontrollieren und mit der Antwort speichern. Ein feinjustiertes Modell erzeugt den Satz ohne Quelle, was jede Genauigkeitsfrage in eine Untersuchung verwandelt.
  • Löschung. Einen Datensatz aus einem Index zu entfernen ist ein Delete. Wissen aus Gewichten zu entfernen ist ein Forschungsproblem ohne saubere Antwort, weshalb sich Aufbewahrungspflichten und Löschbegehren auf der Retrieval-Seite weit leichter erfüllen lassen.

Es gibt eine vierte, seltener diskutierte: Fine-Tuning backt Ihre Fehler ein. Ein Retrieval-System, das ein falsches Dokument liefert, ist debugbar, weil Sie sehen, was es geliefert hat. Ein auf fehlerhaften Daten trainiertes Modell erzeugt dieselbe falsche Antwort ohne Spur zur Ursache, und die Korrektur ist ein weiterer Trainingslauf.

Wo Fine-Tuning wirklich gewinnt

Der Fall für Fine-Tuning ist real, und er ist enger, als Anbieter ihn darstellen. Es gewinnt, wenn das Problem Verhalten statt Wissen ist und die Aufgabe stabil genug, dass ein Trainingsartefakt eine brauchbare Lebensdauer hat.

Konsistente strukturierte Ausgabe ist der stärkste Fall. Muss jede Antwort einem Schema, einer aufsichtsrechtlichen Formulierungskonvention oder einem festen Extraktionsformat entsprechen, erzwingt ein kleiner Adapter das weit zuverlässiger als Prompt-Anweisungen, und er überlebt es, dass das Modell im elften Zug Ihren siebten Aufzählungspunkt ignoriert.

Latenz und Volumen bilden den zweiten Fall. Retrieval fügt jeder Anfrage ein Embedding, eine Suche, ein Reranking und einen längeren Prompt hinzu. Bei sehr hohem Anfragevolumen auf einer engen, stabilen Aufgabe kann dieser Aufschlag je Anfrage die Gesamtkosten dominieren, und ein feinjustiertes Modell, das direkt antwortet, ist je Anfrage billiger und schneller. Das gilt für Klassifizierung, Extraktion und Routing stärker als für offene Assistenten.

Drittens spezialisiertes prozedurales Verhalten: mehrstufige Reasoning-Muster, die für Ihre Domäne typisch sind und die das Basismodell selbst mit den richtigen Belegen im Kontext uneinheitlich ausführt. Das kommt vor, ist aber auch der Fall, der am häufigsten ohne Beleg behauptet wird. Bestätigen Sie, dass der Beleg tatsächlich vorlag und korrekt war, bevor Sie auf Neutraining schließen.

LoRA, QLoRA und ehrliche Ökonomie

Parametereffiziente Verfahren haben die Rechnung verändert, nicht die Entscheidungsreihenfolge. LoRA und QLoRA senken GPU- und Speicherbedarf der Anpassung gegenüber vollem Fine-Tuning erheblich, womit Training in Reichweite einer einzelnen speicherstarken GPU oder eines kleinen Clusters rückt statt einer dedizierten Trainingsumgebung.

In absoluten Zahlen nennen veröffentlichte Spannen für 2026 je nach Umfang rund 5.000 bis 60.000 US-Dollar und mehr für Fine-Tuning-Projekte, gegenüber rund 5.000 bis 20.000 US-Dollar für ein erstes Retrieval-Deployment. Behandeln Sie beides als Größenordnungssignal und nicht als Angebot: Die Streuung innerhalb dieser Spannen treibt die Datenaufbereitung, und das sind die Kosten, die niemand korrekt schätzt.

Aus parametereffizientem Tuning folgen drei Dinge, die klar gesagt gehören:

  • Es senkt die Trainingskosten gegenüber vollem Fine-Tuning, und zwar spürbar.
  • Es beseitigt den Auslöser für Neutraining nicht. Ändert sich das im Adapter kodierte Wissen, trainieren Sie erneut.
  • Es macht das kombinierte Muster bezahlbar, und das ist sein eigentlicher Beitrag: Ein Verhaltensadapter über einer sich häufig ändernden Retrieval-Basis ist heute eine vernünftige Produktivarchitektur statt einer teuren.

Was parametereffizientes Tuning nicht tut, ist den Vorteil von Retrieval für bewegliches Wissen aufzuheben. Billigeres Neutraining bleibt Neutraining.

Die Vorbereitungslast, die niemand budgetiert

Vorbereitung für Retrieval heißt Dokumenten-Ingestion, Chunking, Metadaten, Embeddings, Retrieval-Tuning, Zugriffskontrolle und ein Evaluationsset. Das ist erheblich, und es ist überwiegend Data Engineering, das Ihr Team bereits beherrscht.

Vorbereitung für Fine-Tuning heißt gelabelte Instruktions-Antwort-Paare in ausreichender Menge und gleichbleibender Qualität, Trainings- und Validierungssplits, Stilnormalisierung über die Beispiele hinweg und Sicherheitsfilterung. Das ist eine andere Disziplin, und dort bleiben Projekte stecken. Ein paar tausend Beispiele zu kuratieren, die das gewünschte Verhalten konsistent zeigen, ist Expertenarbeit, meist von genau den Fachleuten, die keine Kapazität haben.

Dazu kommt katastrophales Vergessen. Training auf Domänendaten kann allgemeine Fähigkeiten oder zuvor erlerntes Verhalten verschlechtern, wenn das Update nicht sorgfältig geführt wird, was ein Grund ist, warum Unternehmen parametereffiziente Verfahren dem vollen Neutraining vorziehen und die Faktenschicht im Retrieval belassen. Es ist auch der Grund, warum jeder Fine-Tune eine Regressionssuite über Fähigkeiten braucht, die Sie gar nicht ändern wollten, gefahren vorher und nachher.

Die Wartung ist die Entscheidung, die Sie tatsächlich treffen

Einen Ansatz zu wählen heißt, eine laufende betriebliche Verpflichtung zu wählen, und hier trennen sich die Gesamtkosten.

Retrieval-Wartung ist Data Operations: Ingestion-Pipelines, die weiterlaufen, wenn sich ein Quellsystem ändert, Embedding-Auffrischungen, Wachstum des Vector Stores, Feinjustierung der Retrieval-Qualität und Berechtigungspflege bei sich ändernden Rechten. Das ist kontinuierlich und planbar, und es skaliert mit der Veränderungsrate des Korpus.

Fine-Tuning-Wartung ist Model Operations: Datensatzauffrischung, Neutrainingszyklen, Evaluationsregressionen, Deployment- und Versionsverwaltung und die Wiederholung der Arbeit, wenn sich das Basismodell ändert. Der letzte Punkt hat die schärfste Kante. Open-Weight-Familien veröffentlichen schneller, als sich die meisten Trainingsdatensätze pflegen lassen, und ein Fine-Tune bindet Sie an eine Basisversion, bis Sie sich den Wechsel leisten können.

Ändert sich Wissen häufig, ist Retrieval billiger zu pflegen. Ist das Verhalten stabil und das Volumen sehr hoch, ist Fine-Tuning je Anfrage billiger. Die meisten Unternehmensassistenten liegen im ersten Fall.

Die Entscheidungsreihenfolge, die wir nutzen

Arbeiten Sie das der Reihe nach ab und halten Sie bei der ersten klaren Antwort an.

  1. Ändert sich das Wissen häufig? Wenn ja, Retrieval.
  2. Brauchen Sie Zitate, Prüfbarkeit oder Löschkonformität? Wenn ja, Retrieval.
  3. Ist der vorherrschende Fehler falsche Fakten oder uneinheitliches Verhalten? Falsche Fakten heißt Retrieval; uneinheitliches Format, uneinheitlicher Ton oder Prozess heißt Fine-Tuning.
  4. Ist Latenz eine harte Randbedingung, die der Retrieval-Aufschlag bricht? Wenn ja, wird Fine-Tuning auf einer engen Aufgabe tragfähig.
  5. Ist das Volumen hoch genug, dass der Retrieval-Aufschlag je Anfrage die Gesamtkosten dominiert? Wenn ja, wird Fine-Tuning attraktiver, besonders mit LoRA.
  6. Brauchen Sie belegte Fakten und konsistentes Verhalten zugleich? Bauen Sie beides: Retrieval für das Wissen, einen Adapter für die Form.

Was zuerst zu tun ist

Beginnen Sie mit Retrieval, auch wenn Sie irgendwann Fine-Tuning erwarten. Es erreicht schneller die Produktion, es erzeugt das Evaluationsset und das Fehlerprotokoll, die Sie für den Aufbau eines Trainingsdatensatzes ohnehin bräuchten, und es sagt Ihnen empirisch, welche Fehler Wissen und welche Verhalten sind.

Lassen Sie es lange genug laufen, um ein echtes Fehlerprotokoll anzusammeln, und ordnen Sie dann ein. Sind die verbleibenden Fehler verhaltensbezogen, auf eine stabile Aufgabe konzentriert und teuer genug, um einen Trainingszyklus zu rechtfertigen, justieren Sie genau diese eine Aufgabe mit einem Adapter und lassen das Wissen dort, wo es hingehört. Sind die Anforderungen unklar, schützt Sie diese Reihenfolge zusätzlich: Retrieval lässt sich unkompliziert zurückdrehen, und ein feinjustiertes Modell auf einer missverstandenen Anforderung ist ein versunkener Aufwand mit Wartungsschwanz.

Häufige Fragen

Kann Fine-Tuning dem Modell unser internes Wissen beibringen, sodass wir Retrieval sparen?

Es kann Fakten kodieren, gibt Ihnen aber die falschen Eigenschaften für Unternehmenswissen. Eingetrainierte Fakten lassen sich nicht zitieren, nicht ohne einen weiteren Trainingszyklus aktualisieren und nicht auf Verlangen so löschen, wie Sie es gegenüber einer Aufsicht vertreten möchten. Ändert sich eine Richtlinie am Dienstag, bildet Retrieval das nach der Neuindexierung ab; ein feinjustiertes Modell bildet es nach dem nächsten Trainingslauf ab und nennt bis dahin die alte Richtlinie mit voller Überzeugung. Behandeln Sie Fine-Tuning als Verhaltensschicht, nicht als Wissensspeicher.

Was ändert LoRA tatsächlich an der Ökonomie?

Es senkt GPU- und Speicherbedarf der Anpassung so weit, dass Fine-Tuning auf einem kleinen Cluster und mitunter auf einer einzelnen speicherstarken GPU machbar wird, was Training von einer Investitions- zu einer Betriebsentscheidung macht. Nicht ändert es den Auslöser für Neutraining: Veraltet das Wissen im Adapter, trainieren Sie erneut. LoRA macht den Parallelbetrieb von Retrieval und Verhaltensadapter bezahlbar, weshalb das kombinierte Muster heute verbreiteter ist als vor zwei Jahren.

Woran erkennen wir, dass Retrieval allein nicht mehr reicht?

Sehen Sie in Ihr Fehlerprotokoll und ordnen Sie jeden Fehlgriff als Wissens- oder als Verhaltensfehler ein. Wissensfehler heißen, die richtige Passage wurde nicht gefunden, und die Antwort darauf sind besseres Chunking, hybride Suche oder Reranking. Verhaltensfehler heißen, der Beleg lag korrekt vor, aber die Ausgabe hatte das falsche Format, das falsche Register oder übersprang einen verlangten Schritt. Wenn die zweite Kategorie durch Prompt-Arbeit nicht mehr schrumpft und einen nennenswerten Anteil am Volumen ausmacht, ist ein kleiner Adapter auf einer stabilen Aufgabe die angemessene Korrektur.

Arbeiten Sie an etwas Ähnlichem?

Erzählen Sie uns von Ihren Daten und dem Workflow drumherum, und Sie bekommen eine ehrliche Einschätzung.

30-minütiges Erstgespräch buchen