Lokale KI-Modelle 2026: 16, 24 oder 48 GB VRAM?

Lokale Sprachmodelle laufen 2026 stabil, wenn du Modellgrösse, Quantisierung und VRAM bewusst aufeinander abstimmst. 16 GB ist das sinnvolle Minimum, 24 GB der Sweet Spot für ernsthafte Arbeit, 48 GB der Sprung in 70B-Klasse und Multi-Model-Betrieb.

Lokale KI-Modelle sind offen lizenzierte Sprachmodelle, deren Gewichte du herunterlädst und auf eigener Hardware ausführst, ohne laufende API-Kosten und ohne dass deine Daten das Gerät verlassen. Die Inferenz läuft über eine Runtime wie llama.cpp, Ollama, LM Studio oder vLLM, meist auf der GPU. Der zentrale Engpass ist dabei nicht die Rechenleistung, sondern der Video-Speicher (VRAM): Er entscheidet, welches Modell überhaupt hineinpasst.

Stand: Juli 2026 · Voraussetzung: Grundverständnis, was ein LLM ist (KI-Grundlagen)

Warum ist VRAM 2026 der entscheidende Engpass?

Ein Sprachmodell muss seine Gewichte im Speicher halten, um antworten zu können. Läuft das Modell auf der GPU, ist das der VRAM. Reicht der VRAM nicht, muss die Runtime Teile des Modells in den langsameren System-RAM auslagern (Offloading), und die Antwortgeschwindigkeit bricht ein. Deshalb gilt in mehreren technischen Leitfäden 2026 dieselbe Faustregel: VRAM ist durch nichts zu ersetzen ausser durch mehr VRAM. RAM und SSD können den Engpass abfedern, aber die Kernbegrenzung für interaktive Geschwindigkeit heben sie nicht auf.

Der Speicherbedarf eines Modells lässt sich grob abschätzen, und diese Rechnung ist die wichtigste Grundlage dieses ganzen Artikels: Speicherbedarf entspricht ungefähr Parameterzahl mal Bitbreite pro Gewicht. Ein Modell mit 7 Milliarden Parametern (7B) in voller Präzision (FP16, also 2 Byte pro Gewicht) braucht rund 14 GB nur für die Gewichte. Dazu kommt der KV-Cache (der Zwischenspeicher für den bisherigen Gesprächsverlauf) plus Runtime-Overhead, sodass der reale Bedarf höher liegt. Diese Physik ändert sich mit keiner neuen Hardware-Generation, und genau deshalb bleibt die folgende Einordnung über einzelne Modell-Releases hinaus gültig.

Was ist Quantisierung und welche Quant-Formate zählen?

Quantisierung ist die Technik, die lokale KI auf Consumer-Hardware überhaupt erst möglich macht. Sie reduziert die Bitbreite pro Gewicht, also die Genauigkeit, mit der jede einzelne Zahl im Modell gespeichert wird. Statt 16 Bit pro Gewicht (FP16) speichert eine 4-Bit-Quantisierung nur noch 4 Bit, und der Speicherbedarf fällt entsprechend auf rund ein Viertel. Aus einem 7B-Modell mit 14 GB werden so grob 6 bis 8 GB.

Die Kompression ist kein Gratis-Mittagessen: Sie verursacht Qualitätsverlust. Der fällt aber je nach Modell und Verfahren sehr unterschiedlich aus. Moderne 4-Bit-Verfahren wie Q4_K_M halten gut trainierte Modelle in der Praxis erstaunlich nah an der vollen Qualität, während sehr aggressive 2- oder 3-Bit-Stufen spürbar abbauen. Für die meisten produktiven Anwendungen ist Q4 der pragmatische Standard.

Die Formate, die dir 2026 begegnen

GGUF: Das Container-Format für llama.cpp und Ollama, das dir im lokalen Einsatz am häufigsten unterkommt. Es bündelt Gewichte plus Metadaten in einer Datei.
Q2 bis Q8: Die Zahl gibt die ungefähre Bitbreite pro Gewicht an. Q8 ist nah an voller Qualität und braucht viel Speicher, Q4 ist der Standard-Kompromiss, Q2 spart maximal Speicher bei deutlichem Qualitätsverlust.
Suffixe wie _K_M: Sie bezeichnen das interne Quantisierungsverfahren und Layout. Q4_K_M ist eine gemischte 4-Bit-Variante, die kritische Layer etwas höher auflöst und deshalb als guter Allround-Kompromiss gilt.
GPTQ: Ein alternatives Quantisierungsverfahren, das dir vor allem im GPU-nahen Umfeld (etwa vLLM) begegnet.

Für Fortgeschrittene

Der KV-Cache wird bei langen Kontexten schnell zum zweiten grossen Speicherfresser neben den Gewichten. Er wächst linear mit der Kontextlänge und der Zahl der Layer. Wer ein 32B-Modell mit 32’000 Token Kontext fährt, muss neben den quantisierten Gewichten mehrere Gigabyte allein für den Cache einplanen. Deshalb variieren die VRAM-Angaben je nach genutztem Kontext teils erheblich, und dieselbe Q4-Datei kann bei kurzem Kontext bequem, bei maximalem Kontext dagegen knapp passen. Einige Runtimes erlauben zusätzlich eine Quantisierung des KV-Cache selbst (etwa auf 8 Bit), was weiteren Spielraum schafft.

Was läuft auf 16 GB VRAM?

16 GB VRAM ist 2026 das sinnvolle Minimum für ernsthafte lokale LLM-Nutzung. Zu dieser Klasse gehören Karten wie die RTX 4080, 5070 Ti oder 5080, dazu Apple-Maschinen wie der M3 Max mit geteiltem Unified Memory. In diesem Rahmen bekommst du gute Qualität mit komfortabler Kontextreserve, solange du bei mittelgrossen Modellen bleibst.

7 bis 8B in Q8: Sehr gute Qualität, alles liegt im VRAM, keine Kompromisse bei der Geschwindigkeit.
13 bis 14B in Q4 oder Q5: Das solide Allround-Segment für Chat und Coding. Ein Modell wie Qwen3 14B braucht in praxisüblicher 4- bis 5-Bit-Quantisierung rund 9 bis 10 GB und gilt als guter Kompromiss aus Tempo und Fähigkeit.
Erste 24B-Modelle in Q4: Mistral Small 3.1 24B in Q4_K_M belegt rund 13 bis 14 GB und läuft laut Benchmarks mit etwa 55 Tokens pro Sekunde auf einer RTX 4080 oder 5070 Ti. Es wird in Guides als bestes Allzweckmodell für 16-GB-GPUs 2026 genannt.

Die Grenze wird bei Coding-Modellen sichtbar: Devstral Small 24B in Q4_K_M belegt rund 16 GB und liegt damit direkt an der Kante. Es läuft, aber mit wenig Kontextreserve. Die 70B-Klasse ist auf 16 GB praktisch kein Thema, ausser als stark quantisierter, langsamer Machbarkeitsnachweis mit massivem Offloading. Wer auf 16 GB plant, sollte die 13B- bis 24B-Klasse als realistisches oberes Ende ansetzen.

Warum gilt 24 GB VRAM als Sweet Spot?

Mehrere Leitfäden 2026 sehen 24 GB VRAM als den rationalsten Punkt für Single-User-Setups. Zu dieser Klasse zählen die RTX 4090 und 5090 sowie diverse Profi-GPUs. Der Sprung von 16 auf 24 GB öffnet ein deutlich breiteres Modell-Spektrum, ohne dass du sofort in Enterprise-Preisregionen musst.

Starke 32 bis 35B-Modelle in Q4: Qwen3.6-35B-A3B wird 2026 mehrfach als Best-in-Class für diese Klasse genannt. In Q4 schrumpfen die Gewichte auf rund 18 bis 22 GB, sodass das Modell inklusive KV-Cache auf 24 GB lauffähig ist.
Gemma 4 26B als Mixture-of-Experts: Ein MoE-Modell aktiviert pro Token nur einen Teil der Gewichte, was den effektiven Speicherbedarf pro Rechenschritt senkt. In 4-Bit-Quantisierung landet Gemma 4 26B MoE praxisnah im Bereich 16 bis 20 GB und läuft auf 24 GB mit Kontextreserve komfortabel.
Ausgewählte 70B-Modelle in Q4: Llama-70B-Derivate sind auf 24 GB machbar, brauchen aber häufig zusätzlichen RAM-Offload und kosten spürbar Geschwindigkeit und Kontextgrösse.

Praktisch bedeutet das: 24 GB ist die Stufe, auf der Coding, Reasoning, längere Kontexte und einfache Agenten-Setups ohne dauernde Speicher-Konflikte praktikabel werden. Für Power-User, kleine Teams und alle, die lokal ernsthaft entwickeln, ist das langfristig meist die vernünftigste Wahl.

Wann lohnen sich 48 GB VRAM?

48 GB ist in Consumer-Desktops noch selten und lebt vor allem auf Workstations und Profi-GPUs wie der A6000 oder neueren Profi-Serien. Der Nutzen entsteht dort, wo 24 GB an harte Grenzen stösst: bei 70B-Modellen in höherer Präzision und im Parallelbetrieb mehrerer Modelle.

70B in Q5 oder Q6: Ein 70B-Modell in voller FP16-Präzision würde über 100 GB benötigen und ist auf 48 GB nur quantisiert sinnvoll. In Q4 oder Q5 mit moderatem RAM-Offload wird 70B auf 48 GB aber für interaktive Nutzung realistisch, und zwar mit besserer Qualität als die stark gequetschte 24-GB-Variante.
Multi-Model-Workflows: Chat-, Code- und Tool-Modell können parallel laufen, ohne dass sie sich gegenseitig aus dem Speicher drängen.
Grössere Kontexte und RAG: Für anspruchsvolle Retrieval- und Multi-Agent-Orchestrierung lokal bleibt genug Reserve für einen grossen KV-Cache.

Die Zielgruppe für 48 GB ist damit klar umrissen: Unternehmen mit Daten-Souveränitäts-Anforderungen, intensive Entwicklungs- oder Forschungs-Setups und geplante Mehrnutzer-Szenarien. Für einen einzelnen Entwickler ist die Anschaffung selten zu rechtfertigen.

Welches Modell passt auf welche Stufe?

Die folgende Tabelle fasst die praxisnahen VRAM-Werte aus den Leitfäden 2026 zusammen. Alle Angaben beziehen sich auf Q4-Quantisierung, sofern nicht anders vermerkt, und verstehen sich inklusive eines moderaten KV-Cache. Bei maximalem Kontext liegt der reale Bedarf höher.

Modell-Klasse	VRAM Q4	Empfohlene Stufe	Typischer Einsatz
Llama 7 bis 8B	6 bis 8 GB	ab 8 GB	Chat, einfache Assistenz
Llama 13 bis 14B	10 bis 14 GB	16 GB	Allround, Coding, Chat
Mistral Small 24B	13 bis 14 GB	16 GB	Allzweck-Assistenz
Gemma 4 26B MoE	16 bis 20 GB	24 GB	Reasoning, mehrsprachig
Qwen3.6-35B-A3B	18 bis 22 GB	24 GB	High-End Reasoning, Coding
Llama 70B	24 bis 30 GB	24 GB knapp, 48 GB komfortabel	anspruchsvolle Aufgaben, Multi-Model

Vorher und Nachher: eine typische Fehlentscheidung

Vorher: Ein Entwickler kauft die grösstmögliche Modellklasse und quetscht ein 70B-Modell in Q3 auf eine 16-GB-Karte mit starkem RAM-Offload. Ergebnis: rund 12 Tokens pro Sekunde, spürbare Wartezeiten bei jeder Antwort, und wegen der aggressiven Quantisierung leidet zusätzlich die Ausgabequalität.

Nachher: Derselbe Entwickler wählt auf derselben Karte ein 20B- bis 24B-Modell in Q4, das vollständig in den VRAM passt. Ergebnis: deutlich über 100 Tokens pro Sekunde, flüssige Interaktion und für die meisten Coding- und Chat-Aufgaben ausreichend Qualität. Die Lehre daraus zieht sich durch alle Praxisberichte 2026: Ein passendes Modell, das schnell läuft, schlägt ein zu grosses Modell, das gerade noch hineinpasst. Interaktivität ist für die meisten Anwendungsfälle wichtiger als das letzte Quäntchen Modellqualität.

Was kostet das in Franken, und was gehört ins Gesamt-Setup?

Die GPU ist der grösste Posten, aber nicht der einzige. Wer nur den Grafikspeicher maximiert und beim Rest spart, verschenkt Leistung. Die technischen Leitfäden 2026 kommen bei den Prioritäten zu einem konsistenten Bild.

GPU mit maximalem VRAM in der Zielklasse: 16, 24 oder 48 GB, das ist die Kernentscheidung, an der alles andere hängt.
Netzteil und Kühlung ausreichend dimensionieren: Inferenz erzeugt Dauerlast, und thermische Drosselung ruiniert die Latenz. Hier zu sparen macht die teure GPU langsam.
Mindestens 32 GB RAM, besser 64 GB: 32 GB ist die Untergrenze für grössere Modelle, 64 GB empfiehlt sich, sobald 70B oder Parallelbetrieb im Spiel sind.
Schnelle NVMe-SSD mit 2 bis 8 TB: Modelle und Checkpoints belegen schnell hunderte Gigabyte. 2 TB sind das Minimum, 4 bis 8 TB sind komfortabel, wenn du mehrere Varianten und RAG-Indizes vorhältst.

Beim reinen Kostenblick ordnen sich die drei VRAM-Klassen so ein: Die 16-GB-Klasse liegt im oberen Consumer-Segment und liefert Zugriff auf Modelle bis rund 24B. Die 24-GB-Klasse ist deutlich teurer, amortisiert sich aber gegenüber laufenden Cloud-API-Kosten schnell, wenn du intensiv arbeitest, und öffnet die 32- bis 35B-Klasse. Die 48-GB-Klasse liegt im Workstation-Preisbereich und lohnt sich erst bei 70B-Betrieb, Mehrnutzer-Szenarien oder harten Souveränitäts-Anforderungen. Konkrete Frankenpreise nennen wir hier bewusst nicht, weil GPU-Preise stark schwanken und ein Datum-Snapshot schnell veraltet; prüfe den Tagespreis der konkreten Karte, bevor du kaufst.

Was gilt beim Datenschutz im DACH-Raum?

Der grösste Vorteil lokaler Modelle ist zugleich ihr stärkstes Compliance-Argument: Die Daten verlassen das eigene Gerät nicht. Für den produktiven Einsatz in Unternehmen ist das relevant unter dem revidierten Datenschutzgesetz (revDSG) in der Schweiz sowie unter der DSGVO mit ergänzendem BDSG in Deutschland und dem DSG in Österreich. Lokale Inferenz vermeidet die Übermittlung personenbezogener Daten an einen Cloud-Anbieter und damit einen ganzen Block an Auftragsverarbeitungs- und Drittland-Fragen.

Zwei Dinge bleiben aber zu prüfen, und das ist keine Rechtsberatung, im Zweifel gehört die Frage zu einer Fachperson. Erstens ersetzt lokale Ausführung nicht die Prüfung der Modell-Lizenz: Manche Open-Weight-Modelle tragen Klauseln, die den kommerziellen Einsatz oder bestimmte Umsatzschwellen einschränken. Zweitens entbindet ein lokales Modell nicht von den übrigen Datenschutzpflichten wie Zweckbindung und Zugriffskontrolle. Der Server steht bei dir, die Verantwortung für die Verarbeitung auch.

Fazit: VRAM zuerst, Modell danach

Die Entscheidung für lokale KI-Hardware 2026 lässt sich auf eine Kette herunterbrechen: Zuerst legst du die VRAM-Klasse fest, dann wählst du das grösste Modell, das darin bei Q4 flüssig läuft. Für Einzelentwickler mit Fokus auf Coding und Chat reichen 16 GB plus 64 GB RAM und eine 2- bis 4-TB-SSD. Kleine Teams und alle, die reasoning-lastige oder mehrsprachige Aufgaben lokal fahren, fahren mit 24 GB und Modellen wie Qwen3.6-35B-A3B oder Gemma 4 26B MoE am rationalsten. Zu 48 GB greifst du erst, wenn 70B-Betrieb, Multi-Model-Orchestrierung oder harte Souveränitäts-Anforderungen es tatsächlich verlangen.

Widersteh der Versuchung, das grösstmögliche Modell auf zu wenig VRAM zu quetschen. Ein 24B-Modell mit über 100 Tokens pro Sekunde bringt dir im Alltag mehr als ein 70B-Modell, das mit 12 Tokens pro Sekunde vor sich hin quält. Bevor du kaufst: definiere deinen konkreten Anwendungsfall, ordne ihm die Modellklasse zu, und leite daraus die VRAM-Stufe ab. In dieser Reihenfolge, nicht umgekehrt.

Wenn du tiefer einsteigen willst: Zurück zur Übersicht KI-Grundlagen, weiter zum Nachbarthema Tokens und Kontextfenster, und für die Begriffe hier der Glossar-Eintrag zu Quantisierung. Als nächster Schritt lohnt sich der Leitfaden zu lokale KI praktisch einrichten.