KI-Grundlagen · Vertiefung
Lokale KI und Hardware selbst betreiben
← Zurück zu KI-Grundlagen · Voraussetzung: KI-Modelle
KI-Modelle selbst betreiben statt nur aus der Cloud nutzen: was die Hardware leisten muss, warum der Grafikspeicher entscheidet und wann sich ein eigenes Setup lohnt. Für Einsteiger, Hobby-Builder und Profis.
Stand: Juni 2026. Dies ist eine Vertiefung zum Lernpfad KI-Grundlagen. Voraussetzung ist Stufe 1, KI-Modelle.
Warum ist VRAM der Flaschenhals für lokale LLMs?
Eine GPU rechnet KI-Modelle schnell, aber nur was komplett in ihren Speicher (VRAM) passt, läuft mit voller Geschwindigkeit. Ein Modell muss mit allen Gewichten in den VRAM geladen werden. Reicht er nicht, wird ausgelagert, und das Tempo bricht stark ein.
Warum wichtig: Wer lokal betreibt, kauft praktisch VRAM und nicht «GPU-Power»: Die Speichergrösse setzt die Obergrenze für die Modellgrösse.
Typischer Irrtum: «Hauptsache eine schnelle Gaming-GPU, dann läuft jedes Modell.»
Beispiel: Passt ein quantisiertes Modell knapp nicht in den VRAM, läuft es zwar, aber so langsam, dass es im Alltag unbrauchbar ist.
Beim lokalen LLM kaufst du VRAM, nicht Rechenleistung.
Welche Rolle spielen RAM und CPU?
RAM ist der Arbeitsspeicher des Hauptrechners, getrennt vom VRAM der GPU. Passt ein Modell nicht ganz in den VRAM, lassen sich Teile in den RAM auslagern und von der CPU mitrechnen (CPU-Offload), auf Kosten des Tempos. Die CPU steuert zudem den Gesamtablauf: Sie lädt das Modell, bereitet Ein- und Ausgabe auf und koordiniert den Datenfluss zur GPU.
Warum wichtig: CPU-Offload ist die Notlösung zum Ausprobieren, taugt aber im Produktivbetrieb nicht als Ersatz für genügend VRAM.
Typischer Irrtum: «Ich habe reichlich Arbeitsspeicher, also brauche ich keine teure GPU.»
Beispiel: Ein grösseres Modell per CPU-Offload auf dem Laptop antwortet so zäh, dass es nur zum Ausprobieren taugt.
RAM macht ein Modell lauffähig, VRAM macht es schnell.
Wie sieht eine Einstiegs-Workstation mit einer GPU aus?
Eine Einstiegs-Workstation ist ein Desktop mit einer einzelnen, VRAM-starken GPU. Damit laufen kleinere bis mittlere Modelle flüssig, für Tests, Prototypen oder vertrauliche Daten. Entscheidend ist die Balance aus genug VRAM, ausreichend RAM und passender Strom- und Kühllösung.
Warum wichtig: Eine gut gewählte einzelne GPU deckt einen Grossteil der Praxisfälle ab und ist der günstigste ernsthafte Einstieg.
Typischer Irrtum: «Für den Einstieg brauche ich gleich mehrere GPUs im Rechner.»
Beispiel: Eine Treuhandkanzlei stellt einen Desktop mit einer VRAM-starken Karte ins Büro und lässt ein mittelgrosses Modell darauf Mandantenunterlagen zusammenfassen. Die Daten bleiben im Haus, eine einzelne Karte reicht dafür.
Für den Einstieg schlägt eine richtig dimensionierte Single-GPU-Workstation jedes Multi-GPU-Bastelprojekt.
Warum arbeiten Firmen mit anderer Hardware?
Consumer-GPUs sind für einzelne Nutzer gebaut, Server- und Enterprise-Hardware für Dauerbetrieb, viele parallele Anfragen und das Koppeln mehrerer GPUs. Firmen unterscheiden Training (ein Modell erstellen, sehr ressourcenhungrig) und Inferenz (ein fertiges Modell benutzen, viel genügsamer), und Inferenz ist der KMU-Fall.
Warum wichtig: Wer den Unterschied kennt, kauft nicht versehentlich teure Trainings-Hardware, obwohl Inferenz ausreicht.
Typischer Irrtum: «Wer KI im Unternehmen nutzen will, muss eigene Modelle trainieren.»
Beispiel: Ein Mittelständler kalkuliert Cluster-Kosten fürs Training; tatsächlich genügt Inferenz eines bestehenden Modells auf einer Server-GPU.
Die meisten Firmen brauchen Inferenz, nicht Training.
Lohnt sich ein Budget-Setup mit gebrauchten GPUs?
Mit gebrauchten GPUs lässt sich günstig viel VRAM zusammenstellen, teils durch Koppeln mehrerer Karten. Der Speicher mehrerer Karten summiert sich aber nicht von selbst, sondern nur mit passender Software-Unterstützung (Model-Sharding). Das senkt die Anschaffung, bringt aber Risiken: unbekannte Vorgeschichte, hoher Stromverbrauch und viel Abwärme, die Netzteil und Kühlung mittragen müssen. Auch die Stromkosten summieren sich übers Jahr.
Warum wichtig: Ein Budget-Build verbilligt den Einstieg, rechnet sich aber nur mit ehrlich kalkuliertem Strom, Kühlung und Gebraucht-Risiko.
Typischer Irrtum: «Zwei billige gebrauchte Karten sind immer günstiger als eine neue.»
Beispiel: Ein Team koppelt zwei gebrauchte Karten; Stromrechnung und ein überlastetes Netzteil fressen den Preisvorteil übers Jahr auf.
Beim Budget-Build zahlst du den niedrigen Kaufpreis später bei Strom und Kühlung.
Weiterlesen
- Datenhoheit & Recht: Datenschutz, Sicherheit & Compliance
- Welches Modell taugt wofür: unsere Rankings
- Welcher Agent für welchen Zweck: DACH-Agenten-Guide