Lokale KI: Programme, Modelle und Hardware für den eigenen Rechner

Lokale KI heißt: Ein Sprachmodell läuft auf deinem eigenen Rechner statt auf den Servern eines Anbieters. Du brauchst ein Programm wie Ollama, LM Studio oder llama.cpp und genug Grafik- oder Arbeitsspeicher für das gewählte Modell. Nach dem Herunterladen funktioniert es ohne Internet, und deine Eingaben bleiben auf dem Gerät. Für ein kleines Modell empfiehlt Ollama 8 GB freien Grafikspeicher.

Stand: 13. Oktober 2026. Alle Angaben zu Programmen, Speicherbedarf, Preisen und Lizenzen stammen aus den Dokumentationen der Hersteller und Modellanbieter, abgerufen an diesem Tag. Die Quellen stehen am Ende.

Was „lokale KI“ bedeutet

Ein Sprachmodell besteht aus Gewichten, also aus einer oder mehreren großen Dateien. Bei einem Cloud-Dienst liegen sie beim Anbieter, und jede Eingabe geht über das Netz dorthin. Bei lokaler KI lädst du die Gewichte einmal herunter. Ein Programm auf deinem Rechner lädt sie in den Speicher und rechnet dort.

Meist sind mit dem Begriff Sprachmodelle gemeint, also das, was ChatGPT oder Claude im Browser tun: Fragen beantworten, Texte und Code schreiben. Darum geht es hier. Bilder zu erzeugen ist ein eigenes Feld mit eigenen Programmen, dazu unten ein kurzer Abschnitt.

Ein Punkt, der leicht untergeht: Ein lokales Programm heißt nicht automatisch lokale Verarbeitung. Ollama und LM Studio bieten inzwischen zusätzlich Modelle in ihrer eigenen Cloud an. Bei Ollama erkennst du sie an der Endung cloud im Namen, zum Beispiel gemma4:cloud. Diese Modelle laufen auf den Servern von Ollama. Wer das ausschließen will, schaltet die Cloud-Funktionen ab: mit der Umgebungsvariable OLLAMA_NO_CLOUD=1 oder dem Eintrag disable_ollama_cloud in der Datei ~/.ollama/server.json.

Wann sich lokale KI lohnt und wann nicht

Kriterium	Lokal	Cloud-Dienst
Daten	bleiben auf dem Gerät	gehen zur Verarbeitung an den Anbieter
Internet	nur für Download, Modellsuche und Updates	bei jeder Anfrage
Kosten	Programme kostenlos, dazu Hardware und Strom	Abo oder Abrechnung nach Verbrauch
Modellgröße	begrenzt durch deinen Speicher	große Modelle ohne eigene Hardware
Geschwindigkeit	hängt von deiner Hardware ab	hängt nicht von deinem Rechner ab

Lokal lohnt sich, wenn Eingaben das Gerät nicht verlassen sollen, etwa bei vertraulichem Code oder Kundendaten. Es lohnt sich auch, wenn du ohne Netz arbeiten willst oder so viele Anfragen stellst, dass dich Verbrauchskosten stören. Wie sich die bei Cloud-Modellen zusammensetzen, erklärt der Artikel über LLM-Kosten im Betrieb.

Lokal lohnt sich nicht, wenn du die Fähigkeiten der größten Modelle brauchst und dein Speicher dafür nicht reicht. Google schreibt zu seiner Modellfamilie Gemma: Modelle mit mehr Parametern und höherer Genauigkeit können in der Regel mehr, kosten aber mehr Rechenzeit, Speicher und Strom. Kleinere Modelle können weniger, reichen für manche Aufgaben aber aus.

Zum Datenschutz: Lokale Verarbeitung erspart dir die Weitergabe an einen Anbieter, nicht den übrigen Datenschutz. Was darüber hinaus zu tun ist, steht im Artikel DSGVO für Entwickler.

Die gängigen Programme im Überblick

Programm	Bedienung	Systeme laut Dokumentation	Lizenz und Preis	Lokale Schnittstelle
Ollama	App und Kommandozeile	macOS 14 oder neuer, Windows 10 22H2 oder neuer, Linux	MIT-Lizenz, lokale Modelle im kostenlosen Plan	http://localhost:11434, Endpunkte im OpenAI- und Anthropic-Format (jeweils Teilumfang)
LM Studio	grafische Oberfläche, dazu das Kommandozeilenwerkzeug lms	macOS 14.0 oder neuer nur mit Apple Silicon, Windows (x64 und ARM), Linux ab Ubuntu 20.04 als AppImage	kostenloser Plan, Lizenz für private und interne geschäftliche Zwecke	Port 1234, Endpunkte im OpenAI- und Anthropic-Format
llama.cpp	Kommandozeile mit eingebauter Weboberfläche	Windows, macOS, Linux	MIT-Lizenz	OpenAI-kompatibler Server

Ollama liegt nahe, wenn du ohnehin im Terminal arbeitest: Ein Befehl lädt ein Modell und startet es. LM Studio nimmt dir das Terminal ab und zeigt beim Herunterladen, welche Fassungen eines Modells es gibt. llama.cpp ist die Bibliothek darunter: LM Studio führt Modelle nach eigener Angabe damit aus, auf Macs mit Apple Silicon zusätzlich mit Apples MLX.

Bezahlpläne gibt es bei Ollama und LM Studio auch. Sie drehen sich um Cloud-Modelle und Zusatzfunktionen der Anbieter. Das Ausführen lokaler Modelle steht bei beiden im kostenlosen Plan.

Installation in wenigen Schritten

Ollama

Auf macOS und Linux im Terminal:

curl -fsSL https://ollama.com/install.sh | sh

Unter Windows in der PowerShell:

irm https://ollama.com/install.ps1 | iex

Alternativ lädst du die App von der Download-Seite. Unter Windows braucht die Installation keine Administratorrechte, aber mindestens 4 GB Platz für das Programm. Die Modelle kommen dazu, laut Dokumentation können das zusammen einige zehn bis mehrere hundert Gigabyte werden.

Danach lädst und startest du ein Modell mit einem Befehl:

ollama run gemma4:e2b

Ollama lädt das Modell herunter und öffnet einen Chat im Terminal. Mit /bye verlässt du ihn. Für lokale Modelle ist keine Anmeldung nötig. Drei Befehle für den Alltag:

ollama ls
ollama ps
ollama rm gemma4:e2b

ollama ls listet die heruntergeladenen Modelle auf, ollama ps zeigt, welche gerade im Speicher liegen, ollama rm löscht eines wieder. Alle Befehle, den Speicherort der Modelle unter Windows, die Schnittstelle und Hilfe bei Problemen erklärt die Ollama-Anleitung.

LM Studio

1. Installer von der Download-Seite des Herstellers laden und ausführen. Dort stehen zwei Programme: LM Studio mit Chat-Oberfläche und Schnittstelle sowie LM Studio Bionic, ein Agent für offene Modelle.
2. Im Bereich „Discover“ ein Modell suchen und herunterladen.
3. Im Bereich „Chat“ das Modell laden und losschreiben.

Bei der Auswahl siehst du Kürzel wie Q4_K_M oder Q8_0. Das sind verschiedene Fassungen desselben Modells, die sich in der Quantisierung unterscheiden: Die Datei wird kleiner, dafür geht etwas Qualität verloren. LM Studio rät zu einer Fassung mit 4 Bit oder mehr, wenn dein Rechner sie schafft.

llama.cpp

Auf macOS und Linux im Terminal:

curl -LsSf https://llama.app/install.sh | sh

Unter Windows in der PowerShell: irm https://llama.app/install.ps1 | iex. Danach lädst du ein Modell direkt von Hugging Face und startest einen Chat oder einen Server:

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Pakete gibt es laut Dokumentation außerdem über Homebrew, Winget, conda-forge, MacPorts und Nix.

Welche Hardware für welche Modellgröße nötig ist

Drei Größen bestimmen den Speicherbedarf: die Zahl der Parameter, die Quantisierung in Bit und die Länge des Kontexts. Google veröffentlicht für Gemma 4 eine Tabelle, die den Zusammenhang gut zeigt. Sie nennt den Speicher, der allein zum Laden der Gewichte nötig ist, mit rund 20 Prozent Aufschlag. Die letzte Spalte zeigt zum Vergleich, wie groß der Download des passenden Tags (etwa gemma4:e2b) in der Bibliothek von Ollama ist.

Modell	4 Bit (Q4_0)	8 Bit (SFP8)	16 Bit (BF16)	Download bei Ollama
Gemma 4 E2B	2,9 GB	5,7 GB	11,4 GB	4,6 bis 7,5 GB
Gemma 4 E4B	4,5 GB	8,9 GB	17,9 GB	6,6 bis 9,5 GB
Gemma 4 12B	6,7 GB	13,4 GB	26,7 GB	7,7 bis 8,0 GB
Gemma 4 26B A4B	14,4 GB	28,8 GB	57,7 GB	16 bis 19 GB
Gemma 4 31B	17,5 GB	34,9 GB	69,9 GB	19 bis 20 GB

Die Werte der beiden Quellen weichen voneinander ab. Google weist selbst darauf hin, dass die Zahlen je nach Werkzeug und Umgebung anders ausfallen.

Daraus lässt sich rechnerisch ablesen, was in welchen Speicher passt. Gemeint ist der Speicher, in dem das Modell liegt: der Grafikspeicher der Grafikkarte oder beim Mac der gemeinsame Speicher.

Speicher für das Modell	Passt nach Googles Angaben hinein
8 GB	E2B, E4B und 12B mit 4 Bit, E2B auch mit 8 Bit
16 GB	zusätzlich 26B A4B mit 4 Bit, E4B und 12B mit 8 Bit
24 GB	zusätzlich 31B mit 4 Bit
32 GB	zusätzlich 26B A4B mit 8 Bit
48 GB	zusätzlich 31B mit 8 Bit

Die Tabelle zeigt, was gerade noch hineinpasst, nicht, was bequem läuft. Zwei Dinge kommen obendrauf:

• Kontext: Je mehr Text das Modell gleichzeitig im Blick haben soll, desto mehr Speicher braucht es zusätzlich. Ollama wählt die Voreinstellung nach dem Grafikspeicher: unter 24 GiB 4k Token, bei 24 bis 48 GiB 32k, ab 48 GiB 256k.
• Programm und System: Googles Tabelle rechnet nur die Gewichte, nicht die Software drumherum.

Dass die Praxis mehr verlangt, zeigen die Richtwerte der Programme: LM Studio empfiehlt auf Mac und Windows mindestens 16 GB Arbeitsspeicher, unter Windows außerdem mindestens 4 GB eigenen Grafikspeicher. Auf Macs mit 8 GB rät der Hersteller zu kleinen Modellen und kurzem Kontext. Ollama empfiehlt für gemma4:e2b 8 GB freien Grafikspeicher oder gemeinsamen Speicher beim Mac.

Bei den Grafikkarten unterstützt Ollama laut Dokumentation Nvidia, AMD Radeon und Apple-Chips, weitere Karten über Vulkan. Reicht der Grafikspeicher nicht, weicht Ollama auf den Arbeitsspeicher aus. Das funktioniert, die Antworten können laut Ollama aber langsamer kommen. Wo dein Modell tatsächlich liegt, zeigt die Spalte PROCESSOR von ollama ps: 100% GPU, 100% CPU oder eine Aufteilung.

Messwerte zu Geschwindigkeit und Qualität stehen hier bewusst nicht. Beides hängt von deiner Hardware, der Modellgröße, der Quantisierung und der Kontextlänge ab und davon, ob das Modell vollständig in den Grafikspeicher passt. Verlässlich ist nur der Test mit eigenen Aufgaben auf dem eigenen Rechner.

Lokale Modelle beim Programmieren

Für eigene Anwendungen ist die lokale Schnittstelle der Einstieg. Ollama und LM Studio bieten Endpunkte im Format der OpenAI-Schnittstelle an, Ollama deckt nach eigener Angabe einen Teil des Umfangs ab. Vorhandener Code braucht dann oft nur eine andere Basisadresse. Bei Ollama sieht eine Anfrage so aus:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e2b",
    "messages": [
      {"role": "user", "content": "Say hello in one sentence."}
    ]
  }'

Für Coding-Agenten bringt Ollama einen eigenen Startbefehl mit. Er verbindet das Werkzeug mit einem Modell aus Ollama, auf Wunsch mit einem lokalen:

ollama launch claude

Dasselbe gibt es für Codex (ollama launch codex) und OpenCode (ollama launch opencode). Für VS Code ab Version 1.127 bietet Ollama eine Erweiterung an, die lokale Modelle im Chat des Editors verfügbar macht. LM Studio beschreibt die Verbindung zu Claude Code über Umgebungsvariablen. Wie du Claude Code selbst einrichtest, steht in der Anleitung Claude Code installieren.

Der Haken ist der Kontext. Ollama empfiehlt für Coding-Werkzeuge und Agenten mindestens 64.000 Token, LM Studio für Claude Code mehr als rund 25.000. Die Voreinstellung von Ollama liegt bei weniger als 24 GiB Grafikspeicher aber bei 4k. Du musst den Wert also selbst anheben, in den Einstellungen der App oder beim Start des Servers:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Das kostet zusätzlichen Speicher. Dazu kommt die Modellgröße. Diese Modelle beschreibt die Ollama-Bibliothek ausdrücklich für Coding und Agenten:

Modell	Download	Kontextfenster
gpt-oss:20b	14 GB	128K
devstral-small-2:24b	15 GB	384K
qwen3.6:27b	18 bis 19 GB	256K
qwen3.6:35b	23 bis 24 GB	256K
gpt-oss:120b	65 GB	128K

Für einen Agenten brauchst du außerdem ein Modell, das Werkzeugaufrufe unterstützt. Schon die Downloads liegen damit bei 14 GB und mehr, der große Kontext kommt dazu. Ein Coding-Agent stellt also deutlich höhere Anforderungen als ein Chat mit einem kleinen Modell. Ein einzelnes bestes Modell gibt es nicht: Entscheidend sind dein Speicher, die Aufgabe und die Lizenz des Modells, die sich von Modell zu Modell unterscheidet. Welche Cloud-Werkzeuge die Alternative sind, zeigt der Überblick über KI-Tools für Entwickler.

Bilder statt Text: ein eigenes Feld

Wer lokal Bilder erzeugen will, braucht andere Programme und andere Modelle. Ein Werkzeug dafür ist ComfyUI, laut eigener Dokumentation eine quelloffene Anwendung, in der du Abläufe für Bilder, Video, Audio und 3D aus Bausteinen zusammensetzt. Auf welchen Systemen es läuft, steht unten bei den häufigen Fragen.

Quellen und Stand

Alle Angaben wurden am 13. Oktober 2026 geprüft an:

• Dokumentation von Ollama mit den Seiten zu Schnellstart, macOS, Windows, Linux, Hardware, Kontextlänge, Cloud und FAQ, dazu die Modellbibliothek und die Preisseite
• Dokumentation von LM Studio mit den Seiten zu Systemanforderungen und Offline-Betrieb, dazu Preisseite und Nutzungsbedingungen
• llama.cpp auf GitHub mit README, Installationshinweisen und Lizenz
• Gemma 4: Modellübersicht von Google mit der Tabelle zum Speicherbedarf
• Dokumentation von ComfyUI

Häufige Fragen

Was ist lokale KI?

Lokale KI bedeutet, dass ein KI-Modell auf deinem eigenen Rechner läuft statt auf den Servern eines Anbieters. Du lädst die Modelldatei einmal herunter, ein Programm wie Ollama oder LM Studio führt sie aus. Die Verarbeitung findet auf deinem Gerät statt.

Welche Hardware brauche ich für lokale KI?

Das hängt vom Modell ab. Ollama empfiehlt für das kleine Modell Gemma 4 E2B 8 GB freien Grafikspeicher oder gemeinsamen Speicher beim Mac. LM Studio empfiehlt mindestens 16 GB Arbeitsspeicher. Größere Modelle brauchen mehr: Gemma 4 31B belegt nach Googles Angaben schon mit 4 Bit 17,5 GB allein für die Gewichte.

Funktioniert lokale KI ohne Grafikkarte?

Ja. Ollama läuft auf Intel-Macs nur über den Prozessor, und auch sonst weicht es auf den Arbeitsspeicher aus, wenn der Grafikspeicher fehlt oder nicht reicht. Laut Ollama können die Antworten dann langsamer kommen, und große Modelle sind ohne starke Grafikkarte langsam. Für den Einstieg bietet sich deshalb ein kleines Modell an.

Läuft lokale KI ohne Internet?

Ja, sobald Programm und Modell heruntergeladen sind. LM Studio schreibt, dass Chat, Dokumente und lokaler Server ohne Internet funktionieren und nichts das Gerät verlässt. Internet brauchst du für die Modellsuche, den Download und Updates. Cloud-Modelle, die Ollama und LM Studio zusätzlich anbieten, laufen dagegen nur mit Verbindung.

Ist lokale KI kostenlos?

Die Programme sind es: Ollama und llama.cpp stehen unter der MIT-Lizenz, LM Studio hat einen kostenlosen Plan für lokale Modelle. Die Bezahlpläne der Hersteller drehen sich um Cloud-Modelle und Zusatzfunktionen. Die eigentlichen Kosten lokaler KI sind die Hardware und der Strom.

Welche lokale KI eignet sich zum Programmieren?

Die Ollama-Bibliothek beschreibt unter anderem Qwen 3.6, Devstral Small 2 und gpt-oss für Coding und Agenten. Ihre Downloads beginnen bei 14 GB. Für Coding-Werkzeuge empfiehlt Ollama außerdem mindestens 64.000 Token Kontext, was weiteren Speicher kostet. Mit ollama launch claude lässt sich ein solches Modell mit Claude Code verbinden.

Kann lokale KI auch Bilder erzeugen?

Ja, aber mit anderen Programmen als bei Sprachmodellen. Eines davon ist ComfyUI, laut eigener Dokumentation eine quelloffene Anwendung für Bilder, Video, Audio und 3D. Sie läuft unter Windows, Linux und auf Macs mit Apple Silicon. Für Windows empfiehlt die Dokumentation eine Grafikkarte von Nvidia oder AMD.