Welche Hardware Sie für lokale KI brauchen, hängt vor allem von einer Zahl ab: dem Grafikspeicher. Ein kleineres offenes Modell wie gpt-oss-20b läuft laut einem aktuellen Modellreport bereits ab etwa 16 GB Speicher, Modelle um 27 Milliarden Parameter in komprimierter Form ab rund 24 GB. Große Modelle wie Kolibri von Aleph Alpha brauchen dagegen Rechenzentrums-Grafikkarten. Für die meisten Aufgaben im Mittelstand reicht die mittlere Klasse.
Warum der Speicher entscheidet
Ein Sprachmodell muss beim Arbeiten vollständig in den Speicher passen, am besten in den der Grafikkarte. Passt es nicht hinein, wird es sehr langsam oder läuft gar nicht. Drei Dinge bestimmen den Bedarf:
- Größe des Modells: Mehr Parameter brauchen mehr Speicher.
- Komprimierung (Quantisierung): Modelle lassen sich verkleinern, indem Zahlen mit geringerer Genauigkeit gespeichert werden. Das spart viel Speicher und kostet meist nur wenig Qualität.
- Länge der Eingabe und Zahl der Nutzer: Lange Dokumente und viele gleichzeitige Anfragen brauchen zusätzlichen Speicher.
Bei sogenannten Mixture-of-Experts-Modellen wie Kolibri oder Soofi ist nur ein kleiner Teil des Modells pro Wort aktiv. Das macht sie schnell, im Speicher liegen muss trotzdem das ganze Modell.
Drei Klassen für Unternehmen
1. Arbeitsplatzrechner oder kleiner Server (rund 16 GB Grafikspeicher): Kleinere Modelle für einzelne Personen, zum Ausprobieren, für Zusammenfassungen, Entwürfe und einfache Fragen zu Dokumenten.
2. Workstation oder Server mit großer Grafikkarte (24 GB und mehr): Mittlere Modelle, die viele Alltagsaufgaben im Unternehmen gut erledigen und von einem kleinen Team gleichzeitig genutzt werden können. Für viele mittelständische Unternehmen der beste Startpunkt.
3. GPU-Server im Rechenzentrum: Große Modelle, sehr lange Dokumente und viele Nutzer gleichzeitig. Laut Aleph Alpha bearbeitet Kolibri auf zwei Nvidia-H100-Karten 18 Anfragen gleichzeitig. Solche Server können Sie kaufen oder bei deutschen Anbietern mieten.
Welche Software brauchen Sie?
- Ollama: der einfachste Weg, offene Modelle auf einem Rechner oder Server zu betreiben. Gut für den Einstieg und für kleinere Teams.
- vLLM: für den Betrieb mit vielen gleichzeitigen Nutzern. Kolibri läuft zum Beispiel über eine eigene Erweiterung für vLLM.
- Eine Chat-Oberfläche wie Open WebUI, damit Ihr Team wie gewohnt mit dem Modell arbeitet.
So gehen Sie vor
- Legen Sie fest, welche Aufgaben die KI übernehmen soll.
- Testen Sie zwei oder drei Modelle verschiedener Größe mit echten Beispielen aus Ihrem Alltag.
- Wählen Sie das kleinste Modell, das gute Ergebnisse liefert.
- Erst dann entscheiden Sie über die Hardware, nicht umgekehrt.
Wann sich lokale KI insgesamt lohnt, steht in Lokale KI statt Cloud. Welche europäischen Modelle es gibt, zeigt Souveräne KI aus Europa.
Quellen
- nbreview: Lokale KI-Modelle 2026: Report zu Modellen, Benchmarks und Hardware
- Aleph Alpha: Kolibri has landed
- Ollama und vLLM
