Ollama: installieren, Modelle wählen und unter Windows nutzen

Ollama ist ein kostenloses Programm, mit dem du offene Sprachmodelle auf deinem eigenen Rechner ausführst. Es läuft unter Windows, macOS und Linux und steht unter der MIT-Lizenz. Nach der Installation genügt ein Befehl wie ollama run gemma4:e2b: Ollama lädt das Modell herunter und startet einen Chat im Terminal. Andere Programme erreichen Ollama über eine Schnittstelle unter http://localhost:11434.

Stand: 19. Oktober 2026, Ollama-Version 0.40.6. Alle Befehle, Pfade und Voraussetzungen stammen aus der Dokumentation und von den Seiten des Herstellers, abgerufen an diesem Tag. Die Quellen stehen am Ende.

Die Kurzfassung

• Installieren: unter Windows mit dem Installer OllamaSetup.exe oder in der PowerShell mit irm https://ollama.com/install.ps1 | iex, unter macOS und Linux mit curl -fsSL https://ollama.com/install.sh | sh.
• Erstes Modell: ollama run gemma4:e2b. Der Download ist laut Ollama rund 7,2 GB groß, empfohlen sind 8 GB freier Grafikspeicher.
• Wichtigste Befehle: ollama ls zeigt deine Modelle, ollama ps die geladenen, ollama rm löscht eins.
• Kosten: Lokale Modelle sind kostenlos. Bezahlt wird nur für Modelle in Ollamas Cloud.
• Daten: Bei lokalen Modellen sieht Ollama nach eigener Aussage weder deine Eingaben noch deine Daten.

Was Ollama ist

Ollama besteht aus einem Hintergrunddienst, einer App und dem Kommandozeilenwerkzeug ollama. Der Dienst lädt Modelle in den Speicher und beantwortet Anfragen, die App und die Kommandozeile sind die Oberflächen dafür. Andere Programme wie Editoren oder Coding-Agenten sprechen den Dienst über seine Schnittstelle an.

Neben lokalen Modellen bietet Ollama Modelle in der eigenen Cloud an. Sie laufen auf den Servern von Ollama und brauchen eine Anmeldung. Du erkennst sie am Zusatz cloud im Namen, etwa gemma4:cloud. Wer sicherstellen will, dass nichts das Gerät verlässt, schaltet die Cloud-Funktionen ab, dazu unten mehr.

Wann sich lokale Modelle überhaupt lohnen und welche Alternativen es zu Ollama gibt, steht im Ratgeber Lokale KI: Programme, Modelle und Hardware.

Systemvoraussetzungen

System	Voraussetzungen laut Dokumentation
Windows	Windows 10 22H2 oder neuer, Home oder Pro. Für Nvidia-Karten Treiber 551.61 oder neuer, für AMD Radeon ein Treiber mit ROCm v7 oder Vulkan. Mindestens 4 GB Platz für das Programm.
macOS	macOS 14 Sonoma oder neuer. Apple-Chips der M-Serie mit Grafikunterstützung, Intel-Macs nur mit dem Prozessor.
Linux	Installationsskript oder Pakete für x86-64 und ARM64, für AMD-Grafikkarten ein Zusatzpaket. Für Nvidia die CUDA-Treiber, für AMD ROCm v7.

Dazu kommt Platz für die Modelle. Laut Dokumentation können das einige zehn bis mehrere hundert Gigabyte werden. Bei Nvidia unterstützt Ollama Karten ab Compute Capability 5.0, also bis zurück zur GTX-750-Reihe. Welche Karte welche Stufe hat, zeigt die Tabelle in der Hardware-Dokumentation von Ollama.

Ollama unter Windows installieren

1. Den Installer OllamaSetup.exe von ollama.com/download laden und starten. Administratorrechte brauchst du nicht, Ollama installiert sich in dein Benutzerverzeichnis.
2. Alternativ in der PowerShell: irm https://ollama.com/install.ps1 | iex
3. Nach der Installation läuft Ollama im Hintergrund, das Symbol sitzt im Infobereich der Taskleiste. Der Befehl ollama funktioniert in der Eingabeaufforderung, in der PowerShell und in anderen Terminals.

Danach testest du die Installation in der PowerShell:

ollama -v
ollama run gemma4:e2b

Unter Windows 10 zeigen ältere Terminal-Schriftarten die Fortschrittsanzeige manchmal als leere Kästchen. Dann hilft eine andere Schriftart in den Einstellungen des Terminals.

Speicherort der Modelle unter Windows ändern

Die Modelle landen standardmäßig unter C:\Users\<Name>\.ollama\models. Ist dort zu wenig Platz, legst du sie woanders ab:

1. Ollama über das Symbol in der Taskleiste beenden.
2. In den Einstellungen (Windows 11) oder der Systemsteuerung (Windows 10) nach „Umgebungsvariablen“ suchen und „Umgebungsvariablen für dieses Konto bearbeiten“ öffnen.
3. Eine neue Variable OLLAMA_MODELS mit dem gewünschten Ordner anlegen, zum Beispiel D:\ollama\models.
4. Speichern und Ollama über das Startmenü neu starten.

Das Programm selbst lässt sich ebenfalls woanders installieren: OllamaSetup.exe /DIR="D:\Programme\Ollama".

Wo Ollama unter Windows Dateien ablegt

Ordner	Inhalt
%LOCALAPPDATA%\Programs\Ollama	das Programm, der Installer trägt es in deinen Pfad ein
%LOCALAPPDATA%\Ollama	Protokolle (app.log, server.log) und heruntergeladene Updates
%HOMEPATH%\.ollama	Modelle und Einstellungen

Die Ordner öffnest du mit Windows+R und zum Beispiel explorer %LOCALAPPDATA%\Ollama.

Ollama unter macOS und Linux installieren

macOS: Die App aus der Datei ollama.dmg in den Ordner „Programme“ ziehen und starten. Beim ersten Start prüft sie, ob der Befehl ollama im Pfad liegt, und bietet sonst an, ihn unter /usr/local/bin zu verlinken. Alternativ installiert curl -fsSL https://ollama.com/install.sh | sh im Terminal.

Linux: Ein Befehl installiert Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Läuft Ollama als Systemdienst, steuerst du ihn mit systemctl, die Protokolle zeigt journalctl -e -u ollama. Ein Update ist derselbe Befehl noch einmal. Eine bestimmte Version installierst du, indem du vor sh die Variable OLLAMA_VERSION setzt.

Docker: Ohne Grafikkarte startet docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama einen Container. Für Nvidia-Karten braucht Docker zusätzlich das NVIDIA Container Toolkit. Unter Docker Desktop auf dem Mac gibt es keine Grafikbeschleunigung, weil Docker dort die Grafikkarte nicht durchreicht.

Die wichtigsten Befehle

Befehl	Was er tut
ollama	startet die geführte Einrichtung im Terminal
ollama run gemma4:e2b	lädt das Modell, falls nötig, und startet einen Chat; /bye beendet ihn
ollama pull gemma4:e2b	lädt ein Modell nur herunter
ollama ls	listet die heruntergeladenen Modelle
ollama ps	zeigt geladene Modelle und ob sie auf Grafikkarte oder Prozessor laufen
ollama stop gemma4:e2b	nimmt ein Modell sofort aus dem Speicher
ollama rm gemma4:e2b	löscht ein Modell von der Platte
ollama serve	startet den Dienst von Hand, etwa unter Linux ohne Systemdienst
ollama launch claude	richtet ein Coding-Tool wie Claude Code mit Ollama ein und startet es

Längere Eingaben über mehrere Zeilen schließt du im Chat in drei Anführungszeichen ein: """. Bildfähige Modelle bekommen ein Bild, indem du den Dateipfad in die Eingabe schreibst.

Modelle finden und auswählen

Alle Modelle stehen in der Bibliothek unter ollama.com/search. Ein Modellname besteht aus Name und Variante, getrennt durch einen Doppelpunkt: gemma4:e2b ist die kleinste Variante von Googles Gemma 4. Die Variante latest ist bei Gemma 4 dieselbe Datei wie e4b.

Wie stark sich die Varianten unterscheiden, zeigt Gemma 4. Die Größen stammen aus der Bibliothek von Ollama, der Bereich ergibt sich aus den verschiedenen Fassungen einer Variante:

Variante	Größe	Kontextfenster
gemma4:e2b	4,6 bis 7,5 GB	128K Token
gemma4:e4b (auch latest)	6,6 bis 9,5 GB	128K Token
gemma4:12b	7,7 bis 8,0 GB	256K Token
gemma4:26b	16 bis 19 GB	256K Token
gemma4:31b	19 bis 20 GB	256K Token

Kürzel wie q4_K_M, q8_0 oder bf16 in längeren Namen bezeichnen die Quantisierung, also wie stark die Gewichte verkleinert wurden. gemma4:e2b-it-q4_K_M ist 4,6 GB groß, gemma4:e2b-it-bf16 10 GB.

Für die Auswahl gilt: Das Modell sollte vollständig in den Grafikspeicher passen, beim Mac in den gemeinsamen Speicher. Passt es nicht, weicht Ollama auf den Arbeitsspeicher aus. Das funktioniert, ist aber langsamer. Wo ein Modell gerade liegt, zeigt die Spalte PROCESSOR von ollama ps: 100% GPU, 100% CPU oder eine Aufteilung wie 48%/52% CPU/GPU. Welche Modellgröße zu wie viel Speicher passt, rechnet der Ratgeber Lokale KI an Googles Angaben zu Gemma 4 vor.

Kontextlänge

Die Kontextlänge bestimmt, wie viel Text ein Modell auf einmal im Blick hat. Ollama wählt sie nach dem Grafikspeicher: unter 24 GiB 4K Token, bei 24 bis 48 GiB 32K, ab 48 GiB 256K. Für Coding-Tools, Agenten und Websuche empfiehlt Ollama mindestens 64.000 Token. Einstellen lässt sich das in der App mit einem Schieberegler oder beim Start des Dienstes:

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Mehr Kontext braucht mehr Speicher. ollama ps zeigt in der Spalte CONTEXT, wie viel ein geladenes Modell bekommen hat.

Eigene Varianten mit einem Modelfile

Mit einer Textdatei namens Modelfile baust du eine Variante mit eigener Systemanweisung oder eigenen Parametern:

FROM gemma4:e2b
PARAMETER temperature 1
SYSTEM """Du antwortest knapp und auf Deutsch."""

Danach erzeugt ollama create mein-modell -f ./Modelfile die Variante, ollama run mein-modell startet sie.

Ollama aus eigenen Programmen nutzen

Der Dienst lauscht auf http://localhost:11434. Für lokale Anfragen brauchst du keinen API-Schlüssel. Es gibt drei Wege:

Schnittstelle	Adresse
eigene Ollama-API	http://localhost:11434/api
OpenAI-kompatibel	http://localhost:11434/v1
Anthropic-kompatibel	http://localhost:11434 als Basisadresse

Eine Anfrage an die eigene API:

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4:e2b",
  "messages": [{ "role": "user", "content": "Erkläre Rekursion in einem Satz." }],
  "stream": false
}'

Mit dem offiziellen OpenAI-Client setzt du die Basisadresse auf http://localhost:11434/v1/ und als API-Schlüssel einen beliebigen Text wie ollama. Ollama verlangt das Feld, wertet es aber nicht aus. Die kompatiblen Schnittstellen decken laut Dokumentation jeweils nur einen Teil der Originale ab.

Coding-Tools richtest du mit ollama launch ein: ollama launch claude für Claude Code, ollama launch codex für Codex und ollama launch opencode für OpenCode. Wie Claude Code selbst installiert wird, erklärt die Anleitung Claude Code installieren.

Einstellungen über Umgebungsvariablen

Der Dienst liest seine Einstellungen aus Umgebungsvariablen. Unter Windows setzt du sie wie oben bei OLLAMA_MODELS beschrieben, unter macOS mit launchctl setenv und unter Linux mit systemctl edit ollama.service. Danach Ollama neu starten.

Variable	Wirkung	Voreinstellung
OLLAMA_MODELS	Ordner für die Modelle	im Benutzer- bzw. Dienstverzeichnis
OLLAMA_HOST	Adresse und Port des Dienstes	127.0.0.1:11434
OLLAMA_CONTEXT_LENGTH	Kontextlänge für alle Modelle	nach Grafikspeicher
OLLAMA_KEEP_ALIVE	wie lange ein Modell nach der letzten Anfrage im Speicher bleibt	5 Minuten
OLLAMA_NO_CLOUD	mit 1 die Cloud-Funktionen abschalten	aus
OLLAMA_ORIGINS	zusätzliche Web-Ursprünge, etwa für Browser-Erweiterungen	nur 127.0.0.1 und 0.0.0.0
OLLAMA_NUM_PARALLEL	gleichzeitige Anfragen je Modell	1

Vorsicht mit OLLAMA_HOST=0.0.0.0: Dann ist Ollama aus deinem Netz erreichbar, und die Schnittstelle verlangt keinen Schlüssel.

Datenschutz und Cloud abschalten

Ollama schreibt in seinen FAQ: Läuft ein Modell lokal, sieht Ollama weder deine Eingaben noch deine Daten. Bei Cloud-Modellen verarbeitet Ollama Eingaben und Antworten, um den Dienst zu erbringen, speichert oder protokolliert sie nach eigener Aussage aber nicht und trainiert nicht damit.

Wer nur lokal arbeiten will, schaltet die Cloud-Funktionen ab. Entweder mit der Umgebungsvariable OLLAMA_NO_CLOUD=1 oder mit diesem Eintrag in ~/.ollama/server.json:

{ "disable_ollama_cloud": true }

Nach einem Neustart steht im Protokoll Ollama cloud disabled: true. Cloud-Modelle und die Websuche von Ollama funktionieren dann nicht mehr.

Was Ollama kostet

Das Programm ist kostenlos, und lokale Modelle laufen im kostenlosen Plan. Bezahlpläne betreffen nur die Cloud: Pro kostet 20 US-Dollar im Monat oder 200 US-Dollar im Jahr, Max 100 US-Dollar im Monat. Beide enthalten ein monatliches Guthaben für Cloud-Modelle. Darüber hinaus wird nach Verbrauch abgerechnet.

Wenn etwas nicht funktioniert

• Antworten sind sehr langsam: ollama ps aufrufen. Steht dort 100% CPU oder eine Aufteilung, passt das Modell nicht in den Grafikspeicher. Eine kleinere Variante oder eine stärkere Quantisierung wählen.
• Grafikkarte wird nicht erkannt: Treiberversion prüfen (Nvidia unter Windows ab 551.61). Unter Linux kann Ollama die Nvidia-Karte nach dem Ruhezustand verlieren; laut Dokumentation hilft sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm.
• Downloads in WSL2 unter Windows 10 sind langsam: Laut Ollama hilft es, beim Netzwerkadapter vEthernet (WSL) die Optionen „Large Send Offload Version 2“ für IPv4 und IPv6 abzuschalten.
• Protokolle lesen: unter Windows %LOCALAPPDATA%\Ollama\server.log, unter macOS ~/.ollama/logs/server.log, unter Linux journalctl -u ollama.
• Mehr Details im Protokoll: Unter Windows Ollama beenden und in der PowerShell $env:OLLAMA_DEBUG="1" setzen, dann & "ollama app.exe" starten.

Ollama deinstallieren

• Windows: in den Einstellungen unter „Apps“ wie jedes andere Programm entfernen. Hast du OLLAMA_MODELS geändert, bleiben die Modelle im gewählten Ordner liegen.
• macOS: die App aus „Programme“ löschen, dazu /usr/local/bin/ollama und den Ordner ~/.ollama mit den Modellen. Die Dokumentation nennt weitere Ordner unter ~/Library.
• Linux: den Dienst stoppen und deaktivieren, die Programmdatei und die Bibliotheken löschen, dann Benutzer und Gruppe ollama sowie /usr/share/ollama mit den Modellen entfernen. Die Befehle stehen in der Linux-Dokumentation von Ollama.

Quellen und Stand

Abgerufen am 19. Oktober 2026.

• Ollama-Dokumentation: Quickstart, Windows, macOS, Linux, Docker, CLI-Referenz, FAQ, Kontextlänge, Hardware, Fehlersuche, Modelfile, API, OpenAI-Kompatibilität
• Ollama: Download (Installationsbefehle), Preise, Gemma 4 in der Bibliothek (Varianten und Größen)
• GitHub: ollama/ollama (MIT-Lizenz, Version 0.40.6 vom 16. Oktober 2026)

Häufige Fragen

Ist Ollama kostenlos?

Ja. Das Programm steht unter der MIT-Lizenz, und lokale Modelle laufen im kostenlosen Plan. Geld kostet nur die Nutzung von Modellen in Ollamas Cloud, mit Plänen ab 20 US-Dollar im Monat oder nach Verbrauch.

Wie installiere ich Ollama unter Windows?

Lade OllamaSetup.exe von ollama.com/download und starte die Datei, Administratorrechte sind nicht nötig. Alternativ installiert irm https://ollama.com/install.ps1 | iex in der PowerShell. Danach startet ollama run gemma4:e2b ein erstes Modell.

Braucht Ollama eine Grafikkarte?

Nein, aber mit Grafikkarte ist es deutlich schneller. Passt ein Modell nicht in den Grafikspeicher, nutzt Ollama den Arbeitsspeicher, die Antworten kommen dann langsamer. Für gemma4:e2b empfiehlt Ollama 8 GB freien Grafikspeicher oder gemeinsamen Speicher beim Mac.

Funktioniert Ollama ohne Internet?

Ja, sobald das Modell heruntergeladen ist. Internet brauchst du für Installation und Updates, für Downloads von Modellen und für Cloud-Modelle. Mit OLLAMA_NO_CLOUD=1 schaltest du die Cloud-Funktionen ganz ab.

Wo speichert Ollama die Modelle?

Unter Windows in C:\Users\<Name>\.ollama\models, unter macOS in ~/.ollama/models und unter Linux in /usr/share/ollama/.ollama/models. Mit der Umgebungsvariable OLLAMA_MODELS legst du einen anderen Ordner fest.

Welches Modell soll ich für den Anfang nehmen?

Eines, das vollständig in deinen Grafikspeicher passt. Ollama selbst nutzt in seiner Schnellstartanleitung gemma4:e2b, rund 7,2 GB groß. Ob ein Modell auf der Grafikkarte läuft, zeigt ollama ps.

Wie spreche ich Ollama aus einem Programm an?

Über die Schnittstelle unter http://localhost:11434. Neben der eigenen API unter /api gibt es eine OpenAI-kompatible unter /v1, die mit dem OpenAI-Client funktioniert. Ein API-Schlüssel ist für lokale Anfragen nicht nötig.