KI-Hardware: vom Anwendungsfall zur passenden Karte

Fangen Sie beim Anwendungsfall an, nicht bei der Karte

Wer zuerst fragt, welche Grafikkarte er kaufen soll, hat die Reihenfolge umgedreht. Am Anfang steht, was die KI im Betrieb leisten soll. Daraus folgt, welche Modelle dafür nötig sind, und erst daraus folgt die Hardware.

Vier Angaben reichen für eine erste Einschätzung. Sie stehen unten in der Liste, und keine davon ist technisch. Wer sie beantworten kann, bekommt eine Größenordnung. Wer sie nicht beantworten kann, kauft nach Datenblatt.

Vier Angaben, aus denen die Hardware folgt

• Was die KI tun soll. Auskunft aus eigenen Unterlagen, Texte formulieren, Dokumente prüfen, Code schreiben. Jede Aufgabe verlangt ein anderes Niveau.
• Wie viele Modellarten Sie brauchen. Ein Sprachmodell allein ist selten genug. Kommt eine Suche in eigenen Unterlagen dazu, laufen zwei oder drei Modelle gleichzeitig. Welche das sind, steht in welche lokalen KI-Modelle für Unternehmen relevant sind.
• Wie viele Menschen gleichzeitig arbeiten. Nicht die Kopfzahl im Unternehmen, sondern die, die in derselben Minute etwas fragen.
• Wie sie arbeiten. Das ist der Punkt, den fast jede Übersicht auslässt, und der größte Hebel von allen.

Zwei Entwickler können eine Karte stärker auslasten als fünfzig Sachbearbeiter

Die Karte rechnet nicht in Menschen, sondern in Text. Und die Textmenge je Anfrage geht zwischen den Arbeitsweisen weit auseinander.

Eine Frage an ein Chatfenster umfasst ein paar tausend Token, also einige Seiten. Ein Agent, der Code prüft, trägt bei jedem Schritt den gesamten bisherigen Stand mit sich: Quelltext, Verlauf, Ergebnisse seiner Werkzeuge. NVIDIA rechnet für solche Aufgaben mit über 128.000 Token je Anfrage, und das bei jedem Schritt erneut.

Deshalb planen die Sizing-Leitfäden der Hersteller für Agenten mit zehn bis fünfzig gleichzeitigen Nutzern je System, für leichtere Anwendungen mit deutlich mehr. Eine Zahl wie „hundert Mitarbeiter je Karte“ ist ohne die Frage, was diese hundert tun, wertlos.

Ein Beispiel durchgerechnet

Nehmen wir einen Fall, der bei uns oft vorkommt: Acht Leute im Innendienst sollen Preise und technische Angaben aus den eigenen Unterlagen abfragen können, statt in Ordnern zu blättern. Mehrmals je Stunde, Antwort in wenigen Sekunden.

Dafür laufen zwei Modelle. Ein Sprachmodell formuliert die Antwort, hier Qwen3.8-27B mit 27 Milliarden Parametern. Ein Embedding-Modell macht die Unterlagen durchsuchbar, hier ein Modell mit gut einer Milliarde Parametern. Beide liegen gleichzeitig im Speicher der Karte.

Und wenn man gar nicht quantisiert? Dann belegt dasselbe Sprachmodell 56 statt 31 Gigabyte. Mit dem Zwischenspeicher für den Kontext passt es nicht mehr auf die 48er-Karte, sondern verlangt 96 Gigabyte oder zwei Karten. Für Auskunft aus eigenen Unterlagen lohnt dieser Sprung nicht: Er kostet eine ganze Preisklasse und bringt an dieser Aufgabe nichts, was sich messen ließe. Anders sieht es aus, wenn das Modell prüfen, rechnen oder Schlüsse ziehen soll.

Quantisieren heißt, die Zahlen im Modell gröber zu speichern: statt 16 Bit je Wert nur 8 oder 4. Das Modell schrumpft entsprechend und passt auf eine kleinere Karte. Bezahlt wird mit Genauigkeit. Bei 8 Bit ist davon in praktisch allen Messungen nichts zu merken, deshalb steht diese Stufe oben in der Rechnung. Bei 4 Bit halbiert sich der Bedarf noch einmal, aber dann leidet genau das, was komplexe Aufgaben verlangen: In einer Untersuchung verloren schwere Aufgaben viermal so viel wie leichte. Für Auskunft und Zusammenfassung ist das verkraftbar, für Prüfung und Auswertung nicht.

Wie schnell es sein muss, damit die Arbeit flüssig läuft

Tempo wird in Token je Sekunde gemessen. Ein Token ist ein Wortteil, und Deutsch braucht davon rund 58 Prozent mehr als Englisch für denselben Satz. Das ist der Grund, warum englische Messwerte für einen deutschen Betrieb zu günstig aussehen.

Ein Mensch liest still 240 bis 260 Wörter je Minute. Damit die Antwort mit dem Lesen mithält, reichen auf Deutsch 8 bis 9 Token je Sekunde. Ab 15 bis 20 wirkt es flüssig, ab 30 bis 40 wie sofort da. Mehr merkt niemand mehr, solange ein Mensch mitliest.

Genauso wichtig ist die Wartezeit bis zum ersten Wort. Über einer Sekunde wird sie bewusst wahrgenommen, ab zehn Sekunden wendet sich die Aufmerksamkeit ab. Und wenn kein Mensch mitliest, weil ein Agent eine lange Kette abarbeitet, zählt keine dieser Zahlen mehr. Dann geht es nur noch um Durchsatz.

Wenn Ihnen jemand Tempo verspricht, fragen Sie nach fünf Angaben: welches Gerät, welches Modell, wie stark quantisiert, wie lang der Kontext und wie viele Anfragen gleichzeitig. Ohne diese fünf ist eine Zahl in Token je Sekunde nicht vergleichbar.

Reicht ein starker Standrechner oder ein Laptop?

Das hängt daran, was Sie damit vorhaben. Zum Kennenlernen, für einen ersten Versuch, für den einen Mitarbeiter, der etwas ausprobiert: ja, und das ist der beste Weg anzufangen. Für Arbeit, auf die sich jemand verlässt: nein. Drei Gründe, und keiner davon ist der Speicher.

Woran es scheitert

• Das Tempo. Ohne Karte antwortet ein großes Modell zwar, aber im Bereich von Minuten statt Sekunden. Wenn Ihnen egal ist, wie lange eine Antwort braucht, können Sie damit arbeiten. Wer im Takt seiner Arbeit Antworten erwartet, merkt es bei jeder Frage.
• Die Quantisierung. Damit ein großes Modell überhaupt auf ein solches Gerät passt, muss es stark verkleinert werden. Damit sinkt genau das, was anspruchsvolle Aufgaben verlangen: Das Modell denkt kürzer, die Angaben werden ungenauer, und Fehler fallen ihm seltener selbst auf. Komplexe Aufträge scheitern dann nicht laut, sondern still.
• Der Abstand nach oben. Die offenen Modelle, die in unabhängigen Tests am nächsten an die führenden zugekauften herankommen, sind 750 Gigabyte bis über ein Terabyte groß. Die passen auf kein einzelnes Gerät, auch nicht auf einen Mac Studio mit 512 Gigabyte. Was bequem auf 128 Gigabyte passt, liegt in denselben Tests deutlich zurück.

Für komplexe Arbeit braucht es ein Mindestniveau an Modellqualität. Darüber hinaus ist schön, aber nicht nötig: Wer den Kontext sauber aufbereitet und die richtigen Werkzeuge danebenstellt, holt aus einem Modell dieser Klasse Ergebnisse heraus, für die andere das Teuerste einkaufen. Dieses Mindestniveau bekommen Sie lokal, aber nicht unter dem Schreibtisch.

Welche Karte zu welchem Vorhaben passt

Wir planen, bauen und betreiben lokale KI-Systeme. Die Hardware selbst verkaufen wir nicht. Wir suchen mit Ihnen den Händler aus und sagen, was hineingehört. Weil wir daran nichts verdienen, können wir Ihnen auch sagen, wenn eine Nummer kleiner reicht.

Die folgenden Preise stammen von deutschen Händlern und sind am 15. September 2026 abgerufen. Sie sind ein Rahmen, kein Angebot, und sie veralten schnell.

Die erste Zeile ist eine Spielwiese, und das soll sie auch sein. Auf 24 Gigabyte passt ein kleines Modell, und es antwortet so langsam, dass niemand freiwillig damit arbeitet. Zum Kennenlernen reicht das, für einen Arbeitsablauf im Betrieb nicht. Wer wirklich anfangen will, fängt in der zweiten Zeile an.

Der Sprung von der letzten zur vorletzten Zeile ist der wichtigste in dieser Tabelle. Zwischen einer Karte und einem Server mit acht Karten liegt der Faktor zwanzig. Wer diese Summe nicht einplanen kann, plant besser mit einem kleineren Modell und einer klar begrenzten Nutzerzahl. Das ist kein Rückschritt: Für Auskunft aus eigenen Unterlagen reicht die zweite Zeile in den allermeisten Betrieben.

Gebraucht kaufen senkt den Einstieg. Ein deutscher Händler verkauft eine generalüberholte Karte der vorigen Generation mit 80 GB für rund 28.000 Euro brutto, dieselbe Karte neu für rund 37.000, und gibt auf beide drei Jahre Garantie. Bei ganzen Servern liegt der Abschlag ähnlich: Ein Marktindex vom August 2026 nennt für gebrauchte Acht-Karten-Systeme rund ein Viertel unter Neupreis. Ob eine gebrauchte Karte im Dauerbetrieb so lange hält wie eine neue, hat allerdings niemand mit offengelegter Stichprobe untersucht. Deshalb zählt die Garantie mehr als der Preis.

Was ein vollständiger Server kostet und wann sich Kauf gegenüber Miete lohnt, steht in was ein KI-Server kostet. Die Gegenüberstellung zu einem zugekauften Dienst steht in was der Betrieb im eigenen Unternehmen kostet.

Was der Strom im Monat kostet

Beim Strompreis kursieren zwei sehr verschiedene Zahlen, und beide stimmen. Sie gelten für verschieden große Abnehmer. Ein Betrieb mit weniger als 20.000 Kilowattstunden im Jahr zahlt rund 33 Cent, einer mit mehreren hundert Megawattstunden rund 23, ein Industriebetrieb 14 bis 16. Maßgeblich ist der Gesamtverbrauch Ihres Standorts, nicht der des Servers.

Damit lässt sich überschlagen, was ein Server im Monat zieht. Die Karte bringt ihren Datenblattwert mit, für den Rechner darum herum rechnen wir 250 Watt. Die folgende Tabelle ist ein Überschlag, keine Messung.

Im Monat sind das 140 beziehungsweise 200 Euro bei Dauerbetrieb, und 50 beziehungsweise 70 Euro, wenn der Server nachts und am Wochenende aus ist. Beide Zahlen sind Obergrenzen: Unter Volllast läuft eine Karte im Bürobetrieb nie den ganzen Tag. Wie viel sie im Leerlauf tatsächlich zieht, nennt allerdings kein Hersteller, und wir haben dazu auch keine unabhängige Messung gefunden.

Zwei Hebel gibt es trotzdem. Der Server muss nicht laufen, wenn niemand arbeitet, und die Leistungsaufnahme der Karte lässt sich per Befehl begrenzen. Beim Training von Modellen hat eine wissenschaftliche Arbeit dadurch zwischen 3 und 31 Prozent Energie eingespart; für den laufenden Betrieb gibt es keine vergleichbare Untersuchung. Wer genau wissen will, was es bei ihm bringt, misst es im eigenen Aufbau.

Bei einem Server mit acht Karten sind Sie bei rund 6 Kilowatt und über 50.000 Kilowattstunden im Jahr. Das ist ein anderes Preisband, die Kilowattstunde wird also günstiger. Dafür braucht dieser Server einen eigenen gekühlten Raum und mehr Strom, als eine Bürosteckdose hergibt.

Messen Sie, bevor Sie kaufen

Bleiben wir beim Beispiel von oben: acht Leute im Innendienst, Auskunft aus den eigenen Unterlagen, eine Karte mit 48 Gigabyte. Bevor diese Karte bestellt wird, lässt sich das Ganze auf geliehener Hardware oder einer gemieteten Karte durchspielen, und zwar an Ihren echten Dokumenten.

Vier Messungen reichen. Die Werkzeuge dafür gehören zu den Programmen, die den Betrieb ohnehin tragen, und kosten nichts.

Die letzte Zeile ist die, die am häufigsten vergessen wird. Ein System, das am ersten Tag an seiner Grenze läuft, ist am ersten Tag zu klein. Messen Sie deshalb nicht den Zustand von heute, sondern den, den Sie in zwei Jahren erwarten.

Und die erste Zeile ist die wichtigste. Tempo lässt sich später mit Hardware kaufen, eine schlechte Antwort nicht. Welches Modell Ihre Fragen an Ihren Unterlagen am besten beantwortet, zeigt kein Benchmark aus dem Netz, sondern nur der Vergleich an Ihren eigenen zwanzig Fragen.

Kurz beantwortet

Vier Fragen, die in Gesprächen mit Geschäftsführung und IT-Leitung regelmäßig kommen.

Welche Hardware braucht man für KI im eigenen Unternehmen?

Das hängt daran, was damit gearbeitet wird. Für Auskunft aus eigenen Unterlagen mit einer Handvoll gleichzeitiger Anfragen reicht eine Karte mit 32 bis 48 Gigabyte. Für Agenten, die Code oder Anforderungen bearbeiten, wird es deutlich mehr, weil eine einzige solche Anfrage die Karte fast allein bindet. Die Reihenfolge bleibt: erst der Anwendungsfall, dann die Last, dann das Modell, dann die Karte.

Wie viele Mitarbeiter trägt eine Karte?

Die Frage lässt sich so nicht beantworten, und jede Zahl, die jemand darauf nennt, ist eine Annahme. Entscheidend ist nicht die Kopfzahl, sondern wie lang und wie häufig die Anfragen sind. Herstellerleitfäden planen für Agenten mit zehn bis fünfzig gleichzeitigen Nutzern je System, für leichtere Anwendungen mit mehr.

Kann ich ein gutes Modell auf einem Laptop laufen lassen?

Kleine Modelle ja, für einen Versuch auch brauchbar. Die offenen Modelle, die qualitativ an die führenden zugekauften heranreichen, sind allerdings 750 Gigabyte bis über ein Terabyte groß und passen auf kein einzelnes Gerät. Für anspruchsvolle Arbeit führt der Weg über einen Server mit Karten.

Lohnt sich gebrauchte Hardware?

Ja, mit einer Bedingung. Eine generalüberholte Karte der vorigen Generation kostet rund ein Viertel weniger als neu, und das ist bei diesen Summen relevant. Ob sie im Dauerbetrieb so lange hält wie eine neue, hat aber niemand mit offengelegter Stichprobe untersucht. Kaufen Sie deshalb nur mit mehrjähriger Händlergarantie.

Ihren Anwendungsfall einmal durchrechnen →