Lokale LLMs und Ollama

Sprachmodelle auf eigener Hardware zu betreiben, ist 2026 kein Bastelprojekt mehr. Mit Ollama läuft ein brauchbares Modell nach wenigen Minuten auf einem Laptop, mit Open WebUI entsteht daraus eine ChatGPT-ähnliche Oberfläche, und keine Eingabe verlässt das eigene Netz.

Die Artikel hier bauen aufeinander auf: Installation und Grundbegriffe, die Auswahl des Modells nach verfügbarem Speicher, Quantisierung, die Frage nach der richtigen Hardware mit eigenen Messwerten einer RTX 4090 und schließlich die Einbindung lokaler Modelle in Editor und Agenten. Wer nur eine Frage hat, findet sie meist schon im ersten Absatz des jeweiligen Artikels beantwortet.

Alle Artikel zum Thema (11)