Die Modellauswahl für den Eigenbetrieb ist zu einem Beschaffungsproblem geworden und nicht mehr zu einem Forschungsproblem. Das Open-Weight-Feld ist 2026 tief genug, dass mehrere Familien Ihre Qualitätsschwelle nehmen, womit die Entscheidung an Lizenzbedingungen, Hardwarebedarf und der Passung zur konkreten Arbeit hängt und nicht daran, welches Modell in diesem Quartal ein Leaderboard anführt.
Zu evaluieren lohnen sich Llama 4, Qwen 3 und 3.5, DeepSeek V3 und R1 samt Nachfolgern, Mistral (besonders Small 3.1 und Large 3) sowie gpt-oss. Jede Familie hat ein eigenes Profil, und die in der Produktion relevanten Unterschiede sind nicht die, die Benchmark-Tabellen betonen.
Das häufigste Scheitern, das wir sehen, ist eine technisch ausgezeichnete Auswahl, die die Rechtsabteilung nicht freigeben kann, entdeckt nach getaner Integrationsarbeit. Das zweithäufigste ist ein nach aggregierter Benchmark-Position gewähltes Modell, das beim tatsächlichen Aufgabenmix zurückfällt, entdeckt, sobald Nutzer sich beschweren. Beides lässt sich mit einer Evaluationsreihenfolge vermeiden, die die billigen Ausschlussprüfungen nach vorn zieht.
Die Familien und was sie unterscheidet
- Llama 4. Das breiteste Tooling- und Community-Ökosystem, mit offener Multimodalität und Kontextverarbeitung in der Klasse von 1 Mio. Token. Es ist die sicherste Wahl für Ökosystemreife und die unsauberste bei der Lizenz, denn Metas Community-Lizenz ist weder Apache noch MIT.
- Qwen 3 und 3.5. Die breiteste Größenleiter im Feld, üblicherweise unter Apache 2.0 veröffentlicht, was diese Familie am einfachsten für kommerziellen Eigenbetrieb und Fine-Tuning über Hardwareklassen hinweg macht. Wenn Teams nach einem Standard fragen, ist das meist die Antwort, besonders bei knapper Hardware.
- DeepSeek V3, R1 und spätere Releases. Stark bei Reasoning und Code-Effizienz, mit MIT-Lizenz bei den Modellen, auf die die meisten Empfehlungen 2026 zeigen. Die Einschränkungen sind versionsabhängig: Manche Flaggschiff-Varianten sind reine Textmodelle, und das Verhalten bei langem Kontext oder im Deployment schwankt zwischen Releases.
- Mistral. Die Wahl, wenn europäische Anbieterherkunft Gewicht hat, was für EU-regulierte Kunden ein Beschaffungsfaktor und keine Vorliebe ist. Mistral Small 3.1 ist eine multimodale Option unter Apache 2.0 mit 128K Kontext, die bequem in Deployments auf einem Knoten passt.
- gpt-oss. OpenAIs Open-Weight-Familie, in aktuellen Listungen Apache 2.0, mit einem Modell der 120B-Klasse, das starke Benchmark-Leistung und 128K Kontext zeigt. Behandeln Sie es als ernsthaften Kandidaten für den Eigenbetrieb, vorbehaltlich der Bedingungen aus der Model Card.
Lizenzbedingungen sind der erste Filter
Open Weight ist kein Synonym für permissive Open Source, und das ist die Prüfung, die vor jeder investierten Engineering-Stunde läuft.
| Familie | Lizenzlage | Kommerzielle Nutzung | Was zu prüfen ist |
|---|---|---|---|
| Llama 4 | Meta Community-Lizenz | Erlaubt, bedingt | Schwelle von 700 Mio. monatlich aktiven Nutzern löst eine gesonderte Vereinbarung aus; Namensnennung “Built with Llama” gilt in bestimmten Konstellationen; Acceptable-Use-Policy gilt |
| Qwen 3 / 3.5 | Üblicherweise Apache 2.0 | Weitgehend erlaubt | Das konkrete Release bestätigen, denn die Familie umfasst viele Varianten |
| DeepSeek V3 / R1 und später | Üblicherweise MIT | Weitgehend erlaubt | Auf zusätzliche Nutzungsrichtlinien im konkreten Release prüfen; klären, ob die Variante ein reines Textmodell ist |
| Mistral Small 3.1 / Large 3 | Apache 2.0 bei ausgewählten Releases | Weitgehend erlaubt | Die exakte Variante bestätigen, denn multimodale und größere Releases können abweichen |
| gpt-oss | Apache 2.0 in aktuellen Listungen | Weitgehend erlaubt | Model-Card-spezifische Beschränkungen gegen Ihr Regelwerk prüfen |
Die Klausel zu 700 Mio. monatlich aktiven Nutzern in der Llama-Lizenz klingt für die meisten Unternehmen irrelevant und ist es meist auch. Sie greift bei eingebetteter Distribution: Wird das Modell innerhalb eines Produkts mit großer Endnutzerbasis ausgeliefert oder in einer Plattform, die die Kunden Ihrer Kunden berühren, werden diese Schwelle und die Namensnennungspflichten zu lebendigen Fragen. Lassen Sie die Rechtsabteilung die tatsächliche Lizenz des tatsächlichen Release lesen und halten Sie die Entscheidung fest, denn dieselbe Frage kommt beim nächsten Modellwechsel wieder.
Acceptable-Use-Policies verdienen dieselbe Aufmerksamkeit. Sie sind kürzer als die Lizenz und leichter zu verletzen, besonders für Organisationen, die etwas tun, was die Richtlinie als hochriskant einstuft. Für Air-Gap-Arbeit kommt ein zusätzlicher Test hinzu: ob die Bedingungen das Spiegeln der Gewichte in eine Offline-Umgebung überhaupt erlauben.
Benchmarks lesen, ohne sich täuschen zu lassen
Öffentliche Benchmarks sind ein legitimes Shortlisting-Werkzeug und ein schlechtes Entscheidungswerkzeug. Vier Einschränkungen zählen im Einkauf.
Leaderboard-Werte sind keine Deployment-Leistung. Ein Modell, das in der Konfiguration des Evaluators hervorragend abschneidet, kann unter Ihrer Quantisierung, Ihrer Batch-Größe, Ihrer Kontextlänge und Ihrem Latenzbudget zurückfallen. Insbesondere INT4-Quantisierung verschiebt relative Rangfolgen, und INT4 ist die Art, wie die meisten Unternehmen tatsächlich betreiben.
Angaben zum Kontextfenster sind optimistisch. Ein beworbenes Fenster von 1 Mio. Token ist eine Fähigkeitsaussage, kein Betriebspunkt. Rechnet man Retrieval-Overhead, Prompt-Größe, KV-Cache-Druck und Durchsatz-Trade-offs ein, ist das im Unternehmen praktikable Fenster deutlich kleiner, und der Betrieb nahe der beworbenen Grenze ist meist unbezahlbar.
Die Hardwarepassung sortiert die Tabelle neu. Modelle, die bei aggregierten Werten gewinnen, setzen oft Multi-GPU-Inferenz voraus. Kleinere Qwen- und Mistral-Varianten oder distillierte DeepSeek-Modelle liefern auf einem einzelnen Knoten häufig bessere reale Kosten je Qualitätseinheit, und dort leben die meisten privaten Deployments.
Der Aufgabenmix bestimmt den Sieger. Eine Familie führt bei Reasoning, eine andere bei Code, eine andere bei mehrsprachiger Arbeit, eine weitere bei multimodalen Eingaben. Die Wahl nach aggregierter Leaderboard-Position mittelt genau die Unterscheidung weg, die Sie brauchen.
Eine Evaluationsreihenfolge, die trägt
Fahren Sie die billigen Filter zuerst und die teuren Tests zuletzt.
- Nach Lizenz filtern. Scheiden Sie alles aus, dessen Bedingungen Ihrer kommerziellen, weitergabebezogenen, namensnennungsbezogenen oder regulatorischen Lage widersprechen. Das kostet eine Juristin oder einen Juristen einen Nachmittag und verhindert die teuerste Fehlerkategorie.
- Größe an Hardware anpassen. Entscheiden Sie, ob Sie auf einer einzelnen GPU, einem Multi-GPU-Knoten oder einem Cluster sind, und scheiden Sie Modelle aus, die bei Ihrer Zielquantisierung mit realistischer KV-Cache-Reserve nicht passen. Das halbiert das Feld meist.
- Auf Ihrem eigenen Workload-Mix testen. Bauen Sie ein Evaluationsset aus echten Aufgaben: Retrieval in internen Dokumenten, Code Review, mehrsprachige Zusammenfassung, Werkzeug-Workflows, Extraktion aus langem Kontext und was Ihre Nutzer sonst tatsächlich tun. Bewerten Sie es so, wie Sie später Produktivqualität beurteilen.
- Operative Metriken neben der Qualität messen. Latenz bei p95, Token pro Sekunde unter Nebenläufigkeit, Speicherbedarf, Fehlerrate, Quantisierungsverlust gegenüber der unquantisierten Basis und Kosten je Million Token. Leaderboards erfassen davon nichts, und diese Werte entscheiden, ob das Deployment bezahlbar ist.
- Canary- und Shadow-Deployments fahren. Vergleichen Sie Kandidaten gegen aktuellen Produktivverkehr und menschliches Urteil zu Halluzinationsrate, Formatierungszuverlässigkeit, Verweigerungsverhalten und Sicherheit. Benchmark-Gewinne übersetzen sich nicht zuverlässig in besseres Betriebsverhalten, und im Shadow-Verkehr zeigt sich diese Lücke, bevor Nutzer sie finden.
Shortlist nach Anwendungsfall
| Anwendungsfall | Besser passende Familien |
|---|---|
| Interner Allzweck-Assistent | Qwen 3/3.5, Llama 4 Scout oder Maverick, Mistral Small 3.1 |
| Coding und Entwickler-Copiloten | DeepSeek-Varianten für Reasoning und Code, Qwen-Coder-Familie, gpt-oss |
| Retrieval über lange Dokumente | Llama 4, DeepSeek der V3-Klasse, Qwen-Varianten mit großem Kontext |
| Mehrsprachige Workloads | Familien von Mistral und Qwen |
| Strikte kommerzielle Permissivität | Releases unter Apache 2.0 und MIT: Qwen 3/3.5, ausgewählte Mistral und DeepSeek, gpt-oss |
| Maximale Ökosystemreife | Llama 4, unter Inkaufnahme der Lizenzbedingungen |
Wie wir vorgehen würden
Für die meisten Unternehmen ist der vertretbare Standard eine permissiv lizenzierte Familie, also Qwen 3 oder 3.5 oder ein Mistral-Release unter Apache 2.0 oder ein DeepSeek-Release unter MIT, dimensioniert für den bequemen Betrieb auf Hardware, die Sie bereits haben oder ohne Sonderfall beschaffen können. Behalten Sie Llama 4 für Situationen, in denen Ökosystem, Multimodalität oder Kontextverarbeitung die Lizenzbedingungen aufwiegen, und behandeln Sie gpt-oss als echten Kandidaten, sobald seine Model-Card-Bedingungen Ihre Richtlinienprüfung bestehen.
Bauen Sie dann das Evaluationsset, bevor Sie irgendetwas anderes bauen. Fünfzig bis zweihundert echte Aufgaben mit vereinbarter Bewertung genügen, um Kandidaten zu trennen, und daraus wird ein dauerhaftes Gut: Dasselbe Set läuft erneut gegen das nächste Release, was den Modellwechsel von einer Debatte in eine Messung verwandelt. Bei der Geschwindigkeit dieses Felds ist die Fähigkeit zur billigen Neubewertung mehr wert, als die erste Wahl exakt richtig zu treffen.
Halten Sie schließlich das Aufgebot klein und stellen Sie es hinter ein Gateway. Zwei oder drei nach Aufgabe geroutete Modelle geben Ihnen die Abdeckung, die eine einzelne Wahl nicht liefern kann, ohne den operativen Ballast eines Modell-Zoos, den seit dem Tag des Deployments niemand mehr evaluiert hat.
Häufige Fragen
Heißt Open Weight, dass wir das Modell uneingeschränkt kommerziell nutzen dürfen?
Nein. Open Weight beschreibt die Verfügbarkeit der Gewichte, nicht die daran hängende Lizenz. Qwen-Releases stehen üblicherweise unter Apache 2.0, DeepSeek-Releases üblicherweise unter MIT, und ausgewählte Mistral- und gpt-oss-Releases unter Apache 2.0, was jeweils weitgehend permissiv ist. Llama 4 nutzt Metas Community-Lizenz: Kommerzielle Nutzung ist erlaubt, aber bedingt, mit einer Schwelle von 700 Millionen monatlich aktiven Nutzern, die eine gesonderte Vereinbarung auslöst, und mit Namensnennungspflichten in bestimmten Konstellationen. Prüfen Sie das konkrete Release statt der Familie, denn die Bedingungen unterscheiden sich zwischen Varianten.
Wie sehr sollten wir öffentlichen Benchmark-Rankings trauen?
Als Filter für eine Shortlist, nicht als Entscheidung. Leaderboard-Werte entstehen unter Bedingungen, die selten zu Ihrem Deployment passen: Ihre Quantisierung, Batch-Größe, Kontextlänge und Ihr Latenzbudget verändern das Ranking. Beworbene Kontextfenster sind besonders optimistisch, denn eine Angabe von 1 Mio. Token ist nach Retrieval-Overhead und KV-Cache-Druck nicht das im Unternehmen praktikable Fenster. Nutzen Sie Benchmarks, um auf drei oder vier Kandidaten einzugrenzen, und entscheiden Sie dann an Ihrem eigenen Aufgabenmix mit Ihrem eigenen Evaluationsset auf Ihrer eigenen Hardware.
Sollten wir uns auf ein Modell festlegen oder mehrere betreiben?
Mehrere, nach Aufgabe geroutet, ist das Muster, das trägt. Verschiedene Familien gewinnen bei verschiedenen Arbeiten: Reasoning und Code, mehrsprachige Zusammenfassung, Retrieval über lange Dokumente und agentische Werkzeugnutzung haben selten denselben Sieger. Zwei oder drei hinter einem Gateway erlauben Routing nach Workload und den Tausch eines Modells, ohne Anwendungen anzufassen. Der Preis ist operativ, denn jedes Modell ist ein weiteres Artefakt zum Evaluieren, Patchen und Überwachen; halten Sie das Aufgebot also klein und bewusst, statt Modelle anzuhäufen, wie Teams sie entdecken.