Ollama installieren: macOS, Linux, Windows und Docker

Artikel-Übersicht

Diese Anleitung bringt Ollama auf jedem gängigen System zum Laufen. Sie beginnt mit den Voraussetzungen in einer Tabelle, damit du vorab weißt, worauf du dich einlässt, und geht dann die vier Wege einzeln durch: macOS über Homebrew oder Installer-App, Linux über das offizielle Skript oder manuell mit eigenem systemd-Dienst, Windows nativ oder unter WSL2, und Docker mit einer vollständigen Compose-Datei samt Volume und GPU-Durchreichung. Jeder Abschnitt steht für sich, du musst also nur deinen lesen. Danach lädst du das erste Modell und prüfst, ob die Grafikkarte wirklich rechnet — mit den vier häufigsten Ursachen und je einem Prüfbefehl, wenn sie es nicht tut. Zwei Abschnitte räumen verbreitete Missverständnisse aus: pip install ollama installiert nicht den Server, sondern nur die Client-Bibliothek, und beim Deinstallieren bleibt ohne zusätzlichen Schritt der Modellordner mit zweistelligen Gigabytebeträgen liegen.

Was Ollama überhaupt ist und wofür es sich lohnt, steht im Überblicksartikel Ollama: lokale Sprachmodelle auf dem eigenen Rechner betreiben. Dieser Text hier setzt die Entscheidung voraus und zeigt nur den Weg.

Voraussetzungen in einem Blick

System	Mindest-RAM	GPU	Besonderheit
macOS (Apple Silicon)	16 GB empfohlen	eingebaut, geteilter Speicher	beste Ausgangslage, keine Treiber nötig
macOS (Intel)	16 GB	keine Beschleunigung	läuft, ist aber langsam
Linux	16 GB	NVIDIA empfohlen, AMD über ROCm	Treiber und Container-Toolkit nötig
Windows	16 GB	NVIDIA empfohlen	nativ oder über WSL2
Docker	wie Wirtssystem	Durchreichung nötig	Volume für Modelle zwingend

Der Speicherbedarf hängt am Modell, nicht an Ollama selbst. Welches Modell auf welche Ausstattung passt und wie du das ausrechnest, steht in Welches Ollama-Modell? Auswahl nach Hardware und Zweck.

Installation auf macOS

Zwei Wege, beide gleichwertig. Die Installer-App von der Projektseite bringt ein Menüleistensymbol mit und startet den Dienst automatisch beim Anmelden. Wer die Kommandozeile bevorzugt, nimmt Homebrew:

brew install ollama

Anschließend den Dienst starten:

brew services start ollama

Auf Apple Silicon nutzt Ollama die eingebaute Grafikeinheit ohne weitere Einrichtung. Das ist der angenehmste Fall überhaupt: Weil Prozessor und Grafikeinheit sich denselben Speicher teilen, steht einem Mac mit 32 GB deutlich mehr Modellspeicher zur Verfügung als einem PC mit einer 12-GB-Grafikkarte.

Auf Intel-Macs läuft Ollama ausschließlich auf dem Prozessor. Es funktioniert, aber die Ausgabegeschwindigkeit liegt oft bei wenigen Token pro Sekunde — für Stapelverarbeitung brauchbar, für einen Dialog zäh.

Läuft es?

ollama --version
ollama list

Der zweite Befehl zeigt eine leere Liste, solange kein Modell geladen ist — das ist der erwartete Zustand nach einer frischen Installation und keine Fehlermeldung.

Installation auf Linux

Der offizielle Weg ist ein Installationsskript:

curl -fsSL https://ollama.com/install.sh | sh

Bevor du das ausführst, solltest du wissen, was es tut: Es lädt das Binärpaket nach /usr/local/bin, legt einen Systembenutzer ollama an, richtet einen systemd-Dienst ein und startet ihn. Auf Systemen mit NVIDIA-Karte erkennt es die Treiber und richtet die Beschleunigung ein.

Wer kein Skript aus dem Netz in eine Shell leiten möchte — ein berechtigter Einwand in verwalteten Umgebungen —, lädt das Archiv herunter, entpackt es nach /usr/local und schreibt die Dienstdefinition selbst.

Ollama als systemd-Dienst

Die Datei liegt unter /etc/systemd/system/ollama.service. Zwei Einstellungen sind es wert, angefasst zu werden:

[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_KEEP_ALIVE=30m"

Die erste bindet den Dienst ausdrücklich an die lokale Schleife. Das ist die wichtigste Sicherheitseinstellung dieses Artikels: Ollama kennt keine Authentifizierung. Ein Dienst, der auf 0.0.0.0 lauscht, ist für jeden im Netz nutzbar. Wenn du ihn von anderen Rechnern erreichen willst, gehört ein Reverse Proxy mit Authentifizierung davor.

Die zweite Einstellung hält Modelle länger im Speicher. Standardmäßig gibt Ollama sie nach wenigen Minuten Leerlauf frei, was bei jeder Anfrage eine Ladeverzögerung von mehreren Sekunden bedeutet.

Nach Änderungen:

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

Auf Ubuntu und Debian braucht es für NVIDIA-Beschleunigung den proprietären Treiber; die quelloffene Variante reicht nicht. Auf der RHEL-Familie ist der Ablauf identisch, nur die Paketnamen unterscheiden sich.

Installation auf Windows

Der native Installer von der Projektseite ist der einfachste Weg. Er richtet den Dienst ein und startet ihn beim Anmelden. Nach der Installation steht ollama in der PowerShell zur Verfügung:

ollama run llama3.1

Die Alternative über WSL2 lohnt sich, wenn du ohnehin in einer Linux-Umgebung entwickelst. Dann installierst du Ollama innerhalb der WSL-Distribution wie oben beschrieben. Der Vorteil: Deine Werkzeugkette, Skripte und Pfade sind einheitlich. Der Nachteil: Die GPU-Durchreichung nach WSL2 funktioniert zwar, ist aber eine Fehlerquelle mehr, und du brauchst aktuelle Treiber auf der Windows-Seite.

Die Faustregel: Wenn du unter Windows arbeitest, nimm den nativen Installer. Wenn du unter Windows in WSL entwickelst, installiere Ollama in WSL. Beides parallel zu betreiben führt zu zwei Diensten, die um denselben Port streiten.

Ollama in Docker betreiben

Für Server ist das der sauberste Weg, weil er das Wirtssystem unangetastet lässt.

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama:/root/.ollama
    environment:
      - OLLAMA_KEEP_ALIVE=30m
    restart: unless-stopped

volumes:
  ollama:

Drei Details sind wichtig:

Das Volume ist nicht optional. Ohne volumes liegen die Modelle im Container. Nach einem docker compose down oder einem Abbild-Update sind sie weg, und du lädst zweistellige Gigabytebeträge erneut. Das ist der mit Abstand häufigste Fehler bei der Container-Installation.

Die Portbindung beginnt mit 127.0.0.1. Ein - "11434:11434" würde den Dienst auf allen Netzwerkschnittstellen veröffentlichen — ohne Authentifizierung. Solange du keinen Proxy davorsetzt, bleibt die Bindung lokal.

Für die Grafikkarte braucht es eine Erweiterung. Auf dem Wirtssystem muss das NVIDIA Container Toolkit installiert sein, dann kommt in den Dienst:

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Starten und den Start beobachten:

docker compose up -d
docker compose logs -f ollama

Befehle führst du anschließend im Container aus:

docker compose exec ollama ollama pull llama3.1

Das erste Modell laden

ollama pull llama3.1

Der Befehl lädt das Modell herunter, ohne es zu starten. Bei einem 8-Milliarden-Modell in Q4-Quantisierung sind das rund fünf Gigabyte — plane die Bandbreite ein, bevor du das über eine Mobilfunkverbindung anstößt.

Direkt in den Dialog kommst du mit:

ollama run llama3.1

Fehlt das Modell, lädt run es vorher automatisch. Beenden lässt sich der Dialog mit /bye.

Wo die Dateien landen, hängt vom System ab: unter Linux im Heimatverzeichnis des Dienstbenutzers, unter macOS im Benutzerverzeichnis, im Container im gemounteten Volume. Der Pfad ist gut zu wissen, weil dieser Ordner mit der Zeit der größte auf dem System wird.

GPU-Nutzung prüfen und erzwingen

Dass Ollama läuft, heißt nicht, dass es die Grafikkarte benutzt. Der Unterschied ist erheblich — Faktor zehn bis dreißig in der Ausgabegeschwindigkeit.

Der direkteste Weg, es zu sehen, ist ein laufendes Modell:

ollama ps

Die Ausgabe zeigt, welches Modell geladen ist und ob es im Grafikspeicher oder im Hauptspeicher liegt. Steht dort ein Hinweis auf CPU, rechnet die Grafikkarte nicht mit.

Auf NVIDIA-Systemen liefert der Blick auf die Karte selbst die zweite Bestätigung:

nvidia-smi

Während einer Anfrage sollte der Ollama-Prozess dort mit belegtem Speicher auftauchen. Auf Apple Silicon zeigt die Aktivitätsanzeige unter „GPU-Verlauf" den entsprechenden Ausschlag.

Ollama nutzt die GPU nicht — die vier häufigsten Ursachen

Erstens: Der Treiber fehlt oder ist zu alt. Prüfen mit nvidia-smi. Kommt „command not found" oder eine Fehlermeldung, ist das die Ursache. Der quelloffene Treiber unter Linux reicht für die Berechnung nicht aus.

Zweitens: Im Container fehlt das NVIDIA Container Toolkit. Prüfen lässt sich das mit einem Testcontainer:

docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi

Scheitert dieser Aufruf, liegt das Problem nicht bei Ollama, sondern bei der Container-Laufzeit.

Drittens: Das Modell passt nicht in den Grafikspeicher. Dann verteilt Ollama die Schichten und rechnet teilweise auf dem Prozessor. Das ist kein Fehler, sondern gewolltes Verhalten — es fühlt sich nur an wie einer. Erkennbar in der Ausgabe von ollama ps. Die Abhilfe ist ein kleineres Modell oder eine stärkere Quantisierungsstufe; die Zusammenhänge stehen in LLM-Quantisierung: GGUF, GPTQ und AWQ.

Viertens: Ein zu langes Kontextfenster frisst den Speicher. Der Zwischenspeicher für den Kontext wächst mit dessen Länge und kann bei großen Werten mehr Platz belegen als die Modellgewichte selbst. Wer den Kontext hochgesetzt hat und danach auf die CPU zurückfällt, hat hier die Ursache. Mehr dazu im Artikel über das Kontextfenster bei LLMs.

Bei mir war es beim ersten Mal die zweite Ursache, und ich habe sie zwei Stunden lang bei Ollama gesucht, bevor ich den Testcontainer laufen ließ. Der Befehl oben hätte die Antwort in dreißig Sekunden geliefert — deshalb steht er hier so prominent.

Das Python-SDK ist nicht Ollama

Ein kurzer, aber nötiger Abschnitt:

pip install ollama

Dieser Befehl installiert die Client-Bibliothek für Python, nicht den Ollama-Server. Sie spricht über HTTP mit einem laufenden Ollama, sie bringt selbst keines mit. Wer nur das Paket installiert und dann ollama.chat(...) aufruft, bekommt einen Verbindungsfehler — und sucht ihn erfahrungsgemäß an der falschen Stelle.

Dasselbe gilt für die entsprechenden Pakete anderer Sprachen. Der Server wird immer über einen der vier oben beschriebenen Wege installiert.

Deinstallieren

Vollständig, denn der Modellordner bleibt sonst liegen.

macOS mit Homebrew:

brew services stop ollama
brew uninstall ollama
rm -rf ~/.ollama

Linux:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
sudo rm $(which ollama)
sudo rm -r /usr/share/ollama
sudo userdel ollama

Windows: über die Systemeinstellungen deinstallieren, danach den Ollama-Ordner im Benutzerprofil löschen.

Docker:

docker compose down -v

Das -v ist der entscheidende Teil — ohne es bleibt das Volume mit allen Modellen bestehen. Das kann gewollt sein, wenn du nur das Abbild wechselst; beim endgültigen Entfernen ist es der Grund, warum nach dem Aufräumen zwanzig Gigabyte fehlen.

Häufige Fragen

Wie installiere ich Ollama? Auf macOS über die Installer-App oder brew install ollama, auf Linux über das offizielle Installationsskript, auf Windows über den nativen Installer, auf Servern über Docker mit einem Volume für die Modelle.

Wie starte ich Ollama? Nach der Installation läuft der Dienst in der Regel automatisch. ollama run <modell> öffnet einen Dialog und lädt das Modell beim ersten Aufruf herunter.

Welche Hardware brauche ich mindestens? 16 GB Arbeitsspeicher sind eine brauchbare Untergrenze für Modelle der 7- bis 8-Milliarden-Klasse. Eine Grafikkarte ist nicht zwingend, macht aber den Unterschied zwischen flüssiger und zäher Nutzung.

Warum nutzt Ollama meine GPU nicht? Vier Ursachen decken fast alle Fälle ab: fehlender oder zu alter Treiber, fehlendes Container-Toolkit, Modell zu groß für den Grafikspeicher, oder ein zu lang gesetztes Kontextfenster.

Wie deinstalliere ich Ollama vollständig? Dienst stoppen, Binärdatei entfernen — und den Modellordner löschen. Der letzte Schritt fehlt in den meisten Anleitungen und ist der Grund, warum nach dem Deinstallieren oft zweistellige Gigabytebeträge belegt bleiben.

Reicht pip install ollama? Nein. Das installiert nur die Python-Bibliothek. Der Server muss separat installiert werden.

Zusammenfassung und praktische Tipps

• Vier Wege, ein Ergebnis: Homebrew oder Installer auf macOS, Skript oder manuell auf Linux, nativer Installer oder WSL2 auf Windows, Docker auf Servern.
• Im Container ist das Volume Pflicht. Ohne es sind die Modelle nach jedem Neustart weg.
• Bindung an 127.0.0.1 ist die Voreinstellung, die du behalten solltest. Ollama hat keine Authentifizierung.
• Prüfe die GPU-Nutzung aktiv mit ollama ps und nvidia-smi — dass es läuft, heißt nicht, dass es schnell läuft.
• pip install ollama ist die Client-Bibliothek, nicht der Server.
• Beim Deinstallieren den Modellordner nicht vergessen.

Mein Rat: Nimm auf dem Arbeitsplatzrechner den nativen Weg und auf jedem Server Docker. Die Container-Variante nimmt dir die Treiberdiskussion nicht ab, hält aber alles andere sauber getrennt — und ein vergessenes Volume ist ein Fehler, den man genau einmal macht.

Ressourcen

• Ollama – Download – Installer für alle Systeme
• Ollama – GitHub – Quellcode und Fehlermeldungen
• NVIDIA Container Toolkit – GPU-Durchreichung in Docker
• Docker Compose – Referenz – vollständige Syntax der Compose-Datei