Field Guide
Private KI & selbst gehostete LLMs
Sprachmodelle auf eigener Infrastruktur betreiben: Hardware, Modellauswahl, RAG, Sicherheit und die Kostenrechnung.
Der Grund, KI privat zu betreiben, ist selten Ideologie. Es ist ein Vertrag, der verbietet, Mandantendokumente an Dritte zu senden, eine Aufsicht, die Prompts und Logs als personenbezogene Daten behandelt, oder eine Angebotskalkulation, deren Leck den Auftrag kostet. Open-Weight-Modelle haben den Fähigkeitsabstand weitgehend geschlossen; damit wurde aus der Forschungsfrage "können wir selbst hosten" eine Engineering-Entscheidung mit Budget.
Dieser Leitfaden behandelt den vollständigen Private-AI-Stack, wie wir ihn ausrollen: GPU-Hardware auswählen und dimensionieren, Open-Weight-Modelle und ihre Lizenzen bewerten, Retrieval auf kontrollierter Infrastruktur, Air-Gapped-Betrieb, Härtung des Serving-Stacks, Evaluation ohne externe Tools und die Break-even-Rechnung gegen kommerzielle APIs.
Aktuelle Signale
- Open-Weight-Modelle tragen heute Produktions-Workloads, für die 2024 noch eine Frontier-API nötig war, und das Angebot wächst weiter: Abu Dhabis Institute of Foundation Models veröffentlichte im September 2026 sechs Apache-2.0-Modelle, darunter ein 375B-Mixture-of-Experts-Flaggschiff samt Trainingsdaten und Code.
- Pflichten für Allzweckmodelle gelten seit August 2025, die Transparenzpflichten des AI Act seit dem 2. August 2026; läuft die Inferenz auf eigener Infrastruktur, bleibt die Nachweiskette beim Betreiber.
- Der Serving-Stack folgt dem Wechsel zu Sparse-Modellen: Neuere vLLM-Releases bringen fusionierte NVFP4-Mixture-of-Experts-Kernel, spekulatives Decoding und KV-Offload, und ein Server der H200-Klasse deckt weiterhin die Tageslast eines Mittelständlers.
- Datenresidenz-Regeln in der EU und am Golf behandeln Prompts, Embeddings und Logs zunehmend als regulierte Daten; sie an eine US-gehostete API zu senden ist zuerst eine Rechtsfrage, dann eine technische.
In diesem Leitfaden
KI-Deployments im Air Gap
Was ein echter Air Gap verlangt: kontrollierter Modelltransfer, Offline-RAG, Monitoring ohne Anbieter-Telemetrie und die versteckten Abhängigkeiten, die Offline-Stacks brechen.
LesenFine-Tuning oder RAG für private Daten
Eine Entscheidungsreihenfolge für private Unternehmensdaten: wann Retrieval gewinnt, wann Fine-Tuning gewinnt, was LoRA ändert und zu welchen Wartungskosten jede Wahl verpflichtet.
GPU-Beschaffung für private KI
Kaufen, leasen oder mieten: Marktpreise und Mietbenchmarks für 2026, der Auslastungspunkt, der die Entscheidung trägt, und die Strom-, Lieferzeit- und Vertragsrisiken hinter dem Angebot.
LLM-Evaluation und Observability auf privater Infrastruktur
Selbst gehostete Eval-Harnesses, Prompt-Regressionstests und Tracing im OpenTelemetry-Format für Teams, deren Prompts und Completions kein SaaS-Backend erreichen dürfen.
Härtung eines selbst gehosteten LLM-Stacks
Fünf Ebenen entscheiden, ob ein privates LLM-Deployment die Prüfung übersteht: Prompt-Isolation, Herkunft der Gewichte, Container-Isolation, Umgang mit Secrets und Audit-Logging.
Hardware für On-Prem-LLM-Inferenz dimensionieren
VRAM-Rechnung, Quantisierungs-Trade-offs, GPU-Klassen von L40S bis B200 und Durchsatzschätzung für On-Premises-Inferenz, inklusive der Fälle, in denen CPU reicht.
Open-Weight-Modelle auswählen im Jahr 2026
Llama 4, Qwen 3, DeepSeek, Mistral und gpt-oss im Vergleich nach Lizenzbedingungen, Hardwarebedarf und Aufgabenpassung, mit einer Evaluationsmethode, die den Einkauf übersteht.
Private KI gegen API: der tatsächliche Kostenumschlagpunkt
Der Break-even für selbst gehostete LLMs liegt weit höher, als die meisten Teams annehmen. Die veröffentlichten Schwellen für 2026, die versteckten Kosten, die sie verschieben, und wann stattdessen der Datenschutz entscheidet.
Private KI in Bau- und Industrieunternehmen
Warum Angebotskalkulation, RFIs und Sicherheitsakten Bauunternehmen zu privater KI drängen, welche Abläufe sich zuerst rechnen und was die ROI-Belege für 2026 tatsächlich hergeben.
Architektur für private LLM-Deployments
On-Premises, private VPC und hybride Topologien im Vergleich: Referenzstack nach Schichten, Mandantenfähigkeit und die Kriterien, die über den Bau entscheiden.
RAG auf privater Infrastruktur
Ein tragfähiger Referenzstack für selbst gehostetes Retrieval: Wahl des Vector Stores, private Embeddings, Chunking, hybride Suche, berechtigungsbewusste Filterung und Evaluation.
Was souveräne KI über Datenlokalisierung hinaus verlangt
Lokalisierung, Souveränität und operative Souveränität sind drei verschiedene Zusagen. Was DSGVO, KI-Verordnung und Beschaffung am Golf tatsächlich fordern und woran Anbieterzusagen scheitern.
Arbeiten Sie an etwas Ähnlichem?
Erzählen Sie uns von Ihren Daten und dem Workflow drumherum, und Sie bekommen eine ehrliche Einschätzung.
30-minütiges Erstgespräch buchen