Welche lokalen KI-Modelle für Unternehmen relevant sind

Welche Modellarten in einem lokalen System zusammenarbeiten

Die Frage nach dem richtigen lokalen KI-Modell hat selten eine einzige Antwort. Eine Auskunft aus der technischen Dokumentation durchläuft drei Modelle: eines liest den Scan, eines macht aus Textstücken Zahlenreihen, damit sich die passende Stelle finden lässt, und eines formuliert die Antwort. Kommt ein Telefonprotokoll dazu, kommt ein viertes dazu.

Drei Begriffe gehen dabei durcheinander. Alibaba ist der Anbieter, Qwen die Familie, Qwen3.8-27B das Modell, das auf der Maschine liegt. Open WebUI ist noch einmal etwas anderes, nämlich die Oberfläche, und rechnet selbst nichts. Lizenz, Größe und Fähigkeiten gehören zum einzelnen Modell.

Ein multimodales Modell deckt mehrere Zeilen der Tabelle ab, Qwen3.8-27B etwa nimmt Text, Bild und Video entgegen. Umgekehrt braucht kein Prozess alle Zeilen.

Welches Sprachmodell auf welche Maschine passt

Entscheidend ist bei Sprachmodellen nicht die Parameterzahl, sondern die Maschine, die ein Unternehmen dafür hinstellen muss. Drei Klassen lassen sich aus den Herstellerangaben ablesen, und alle drei sind mit offenen Gewichten besetzt. Auf eine einzelne Karte passt dabei mehr, als viele erwarten: Für Auskunft, Zusammenfassung und Prüfung an vorgelegten Unterlagen ist die erste Klasse der Regelfall.

Die offenen Spitzenmodelle sind Rechenzentrumsklasse. Ihre Modellkarten stellen Benchmarktabellen direkt neben Claude, GPT und Gemini; je nach Aufgabe liegen die Werte darüber oder darunter, und Moonshot schreibt selbst, die Gesamtleistung bleibe hinter den stärksten zugekauften Modellen zurück. Wer die Infrastruktur hat oder mietet, erledigt mit dieser Klasse Aufgaben im eigenen Netz, für die sonst ein Dienst eingekauft wird.

Die Modelle, die neben dem Sprachmodell laufen

Die übrigen Modellarten sind kleiner und fallen in der Planung deshalb oft hinten herunter. Für das Ergebnis sind sie ebenso entscheidend: Ohne brauchbares OCR steht im Bestand Unsinn, und ohne Reranking landen die falschen Textstücke in der Antwort.

Was neben dem Sprachmodell gebraucht wird

• Suche. Ein Embedding-Modell macht aus Textstücken Zahlenreihen, ein Reranker sortiert die Treffer nach. NVIDIA nennt für Nemotron-3-Embed Deutsch ausdrücklich in der Sprachliste, Qwen3-Embedding und bge-m3 sprechen allgemein von über hundert Sprachen. Ein Wechsel des Embedding-Modells macht eine Neuindexierung nötig, ein Wechsel des Sprachmodells nicht.
• Dokumente. granite-docling von IBM ist mit 258 Millionen Parametern klein genug für den Prozessor und liefert Tabellenstruktur mit. PaddleOCR-VL und Nemotron Parse können mehr, brauchen aber eine Karte. Docling selbst ist kein Modell, sondern der Rahmen darum.
• Sprache. Whisper ist die Referenz, Parakeet und Canary von NVIDIA nennen für Deutsch eine gemessene Wortfehlerrate, und Voxtral Mini Realtime von Mistral ist unter den geprüften Modellen das einzige mit Herstellerangabe zur Echtzeit. Wer wann spricht, ordnet pyannote zu.
• Bild und Video. Für Beschreiben und Prüfen reichen Qwen3.5-9B oder Gemma 4. Fürs Zählen, Markieren und die Sichtprüfung sind RF-DETR und SAM 3 gebaut, beide klein genug für ältere Karten.
• Messwerte. Einen Ausreißer in Sensordaten findet ein Sprachmodell nicht besser als eine Support Vector Machine. Diese Aufgabe gehört nicht in ein LLM.

Die Lizenz gehört zum einzelnen Modell, nicht zur Familie. Vier Fälle aus dieser Prüfung schließen den Einsatz hier aus oder verteuern ihn: Metas Nutzungsrichtlinie gewährt die Rechte an den multimodalen Llama-4-Modellen Unternehmen mit Sitz in der EU nicht. YOLO26 steht unter AGPL und verlangt für geschlossene Nutzung eine gesonderte Lizenz. jina-embeddings-v5 und Voxtral TTS stehen unter CC BY-NC. Und beim Videomodell HunyuanVideo von Tencent nimmt das Lizenzgebiet die EU ausdrücklich aus. Was Offenheit im Einzelnen bedeutet, steht in was quelloffen bei einem Modell heißt.

Wie die Modelle in einem Ablauf zusammenspielen

Eine Preisauskunft aus der technischen Dokumentation läuft so: Der Scan geht durch den Dokumentparser, die Textstücke gehen durch das Embedding-Modell in den Bestand, die Frage holt die passenden Stellen heraus, das Sprachmodell formuliert daraus die Antwort. Bei einem Armaturenhersteller läuft seit Dezember 2025 eine solche Plattform im eigenen Netz, gebaut aus Open WebUI, Qdrant und Docling, mit Anmeldung über den vorhandenen Microsoft-Entra-ID-Tenant: Technische Dokumentation durchsuchbar machen.

Ein Serviceprotokoll aus einem Telefonat wäre anders zugeschnitten. Spracherkennung und Sprecherzuordnung liefern zuerst den Text, erst danach macht ein Sprachmodell daraus einen Eintrag mit Kunde, Anliegen und Zusage. Dieses Beispiel dient der Veranschaulichung und ist kein Deep5-Projekt.

Der dritte Ablauf braucht gar kein Sprachmodell. Wer Messkurven gegen ein Sollband prüft, kommt mit klassischen Verfahren weiter, und die laufen auf dem Prozessor. Die Dokumentenstrecke im Einzelnen steht in wie eine RAG-Pipeline aufgebaut wird.

Was Größe und Genauigkeit an Speicher kosten

Die Gewichte müssen vollständig in den Speicher, auch bei Modellen mit Fachabteilungen. Kimi K3 aktiviert je Token 104 von 2.800 Milliarden Parametern, liegen müssen trotzdem alle. Die kleine Zahl bestimmt das Tempo, die große die Maschine.

Quantisierung senkt nicht die Zahl der Parameter, sondern die Genauigkeit, mit der jeder einzelne gespeichert wird. Das spart Platz und kostet Qualität, und wie viel genau, sagt keine Modellkarte. Manche Hersteller liefern die Gewichte gleich in niedriger Genauigkeit aus: Kimi K3 in MXFP4, DeepSeek und GLM in FP8. Wie Größenklasse, Kontextlänge und Karte zusammenhängen, steht in welche Hardware lokale KI braucht.

Eigene Inferenz bedeutet keine Tokenrechnung, aber nicht keine Kosten. Systeme lassen sich zu Arbeitszeiten betreiben und aufwendige Läufe bündeln. Bei gemieteter Infrastruktur hängt die Ersparnis am Vertrag, und eigene Hardware kostet auch ausgeschaltet, was sie gekostet hat.

Wann ein kleineres Modell ausreicht

Die Güte einer Antwort hängt nicht allein am Modell. Ein kleineres Modell mit gut aufbereiteten Unterlagen, sauber zugeschnittenem Kontext und passenden Werkzeugen beantwortet eine feste betriebliche Frage oft zuverlässiger als ein großes Modell, das raten muss. Anders liegt es bei langen Ketten aus Werkzeugaufrufen, bei Code über mehrere Dateien hinweg und bei Aufgaben, deren Antwort aus dem Modell selbst kommen muss und nicht aus dem Bestand.

Die Benchmarks in den Modellkarten sind Herstellerangaben aus unterschiedlichen Testumgebungen. Sie taugen zur Vorauswahl von zwei oder drei Kandidaten, nicht zur Entscheidung. Wie ein Betrieb an den eigenen Aufgaben vergleicht, steht in worauf ein Betrieb beim Modellvergleich achtet.

Was Sie als Nächstes entscheiden

Aus der Zuordnung von Aufgabe und Modellart folgen vier Angaben, die den Zuschnitt bestimmen. Sie lassen sich ohne Testaufbau beantworten.

Vier Angaben, aus denen der Zuschnitt folgt

• Welche Modellarten Ihr Prozess braucht. Aus der Tabelle oben abgelesen, meist zwei bis vier.
• Wie viele Menschen gleichzeitig arbeiten. Der Kontext kostet Speicher je gleichzeitigem Nutzer, nicht einmalig.
• Wo die Maschine steht. Im eigenen Serverraum, in gemieteter Hardware oder gemischt. Was daran hängt, steht in was zum Betrieb im eigenen Netz gehört.
• Was Sie mit dem Modell tun dürfen. Die Lizenz je Modell prüfen, nicht je Familie, und vor dem Einsatz lesen lassen.

Welche lokalen KI-Modelle braucht ein Unternehmen?

Meist mehrere. Für Auskunft aus eigenen Unterlagen sind es drei: ein Dokumentparser für Scans, ein Embedding-Modell für die Suche und ein Sprachmodell für die Antwort. Kommen Telefonate, Fotos oder Messwerte dazu, kommt je eine Modellart dazu. Ein multimodales Modell kann mehrere davon abdecken.

Sind offene Modelle so gut wie ChatGPT oder Claude?

Die offenen Spitzenmodelle stellen in ihren Modellkarten Benchmarks direkt neben die zugekauften Modelle, und je nach Aufgabe liegen sie darüber oder darunter. Sie verlangen dafür Rechenzentrumsklasse. Für viele betriebliche Aufgaben ist die Frage zweitrangig, weil die Antwort ohnehin aus den vorgelegten Unterlagen kommt und nicht aus dem Gedächtnis des Modells.

Was ist der Unterschied zwischen Anbieter, Familie und Modell?

Alibaba ist der Anbieter, Qwen die Familie, Qwen3.8-27B das Modell mit eigener Lizenz, Größe und Kontextlänge. Innerhalb einer Familie können die Lizenzen abweichen: Qwen3.8-27B steht unter Apache 2.0, das größte Modell derselben Generation unter einer eigenen Lizenz des Herstellers.

Ihren Ablauf einmal gemeinsam durchgehen →