Christoph Kind LogoCHRISTOPH KIND
Blog
Einblicke, Updates und technische Artikel
Welches Ollama-Modell? Auswahl nach Hardware und Zweck

Welches Ollama-Modell? Auswahl nach Hardware und Zweck

Dieser Artikel beantwortet die Frage, die jeder stellt, der zum ersten Mal vor der Ollama-Registry sitzt: welches Modell nehme ich. Er beginnt mit drei konkreten Empfehlungen nach Speicherklasse, erklärt dann die eine Zahl, auf die es ankommt — den verfügbaren Speicher — und liefert eine Faustformel aus Parameterzahl und Quantisierungsstufe. Es folgen eine Modelltabelle mit Speicherbedarf, Kontextfenster und Stärken, Empfehlungen nach Anwendungsfall für Code, deutschsprachige Texte, Embeddings und Werkzeugaufrufe, ein ehrlicher Abschnitt darüber, was Ollama nicht kann, sowie die Speicherverwaltung im Alltag und die Frage, ab wann lokal nicht mehr reicht.

Weiterlesen →
Ollama installieren: macOS, Linux, Windows und Docker

Ollama installieren: macOS, Linux, Windows und Docker

Diese Anleitung führt dich durch alle vier Installationswege für Ollama — macOS mit Homebrew oder Installer, Linux über das Skript oder manuell mit systemd, Windows nativ oder unter WSL2, und Docker mit vollständiger Compose-Datei samt Volume und GPU-Durchreichung. Danach lädst du das erste Modell, prüfst, ob die Grafikkarte tatsächlich genutzt wird, und arbeitest die vier häufigsten Ursachen ab, wenn sie es nicht tut. Zum Schluss klären wir die verbreitete Verwechslung zwischen dem Python-Paket und dem Ollama-Server und gehen die vollständige Deinstallation inklusive Modellordner durch.

Weiterlesen →
Ollama: lokale Sprachmodelle auf dem eigenen Rechner betreiben

Ollama: lokale Sprachmodelle auf dem eigenen Rechner betreiben

Dieser Leitfaden erklärt dir, was Ollama ist, wie es funktioniert und wofür es taugt. Du erfährst, wie die Laufzeitumgebung Modelle lädt und über eine HTTP-API bereitstellt, welches Modell auf welche Hardware passt und wie du den Speicherbedarf aus Parameterzahl und Quantisierungsstufe abschätzt. Dazu bekommst du die OpenAI-kompatible API erklärt, die Anbindung an Werkzeuge wie Claude Code, einen ehrlichen Vergleich mit LM Studio, llama.cpp und vLLM sowie die Grenzen, an die Ollama im Mehrbenutzerbetrieb stößt — alles auf dem Stand September 2026.

Weiterlesen →
Lokale Modelle einbinden: Ollama, llama.cpp und vLLM im Editor und im Agenten

Lokale Modelle einbinden: Ollama, llama.cpp und vLLM im Editor und im Agenten

Ein lokales Modell zu starten ist einfach; es dazu zu bringen, in einem Coding-Agenten zuverlässig zu arbeiten, ist der eigentliche Schritt. Dieser Praxisartikel führt genau durch diesen Weg. Er ordnet zuerst die drei Laufzeitumgebungen Ollama, llama.cpp und vLLM nach Einsatzzweck ein und zeigt die Startbefehle, die tatsächlich funktionieren — inklusive der vLLM-Parser für Reasoning und Werkzeugaufrufe. Danach kommen die drei Stellschrauben, an denen fast alle Setups scheitern: das viel zu kleine Standard-Kontextfenster, die Reasoning-Stufe und die Speicherbelegung des KV-Caches. Ein eigener Abschnitt erklärt, warum Werkzeugaufrufe die häufigste Bruchstelle sind und welche Agenten damit umgehen können. Das Herzstück ist die Anbindung an Cline und Continue in VS Code, an Aider im Terminal und an Claude Code, das seit Ollama 0.14 ohne Übersetzungsschicht auskommt. Zum Schluss ein durchgetestetes Setup zum Nachbauen, die Messmethoden, um Probleme zu erkennen, und die Punkte, an denen der lokale Betrieb kippt.

Weiterlesen →
KI-Agenten-Frameworks im Vergleich 2026: LangChain/LangGraph, LlamaIndex, Semantic Kernel, CrewAI, AutoGen & Co.

KI-Agenten-Frameworks im Vergleich 2026: LangChain/LangGraph, LlamaIndex, Semantic Kernel, CrewAI, AutoGen & Co.

Welches Agenten-Framework passt 2026 zu deinem Projekt? Dieser Leitfaden erklärt, was einen KI-Agenten ausmacht (LLM, Tools, Schleife, Speicher), welche Auswahlkriterien wirklich zählen und wie sich die führenden Frameworks unterscheiden. Du bekommst einen ausführlichen Vergleich von LangChain/LangGraph, LlamaIndex, dem Microsoft Agent Framework (Nachfolger von Semantic Kernel und AutoGen), CrewAI, dem OpenAI Agents SDK und PydanticAI – inklusive Vergleichstabelle, klaren Empfehlungen je Anwendungsfall, dem Bezug zu MCP und einem lauffähigen Code-Beispiel.

Weiterlesen →
Qwen3.8-27B gegen die Cloud: Was lokale Coding-Modelle 2026 wirklich leisten

Qwen3.8-27B gegen die Cloud: Was lokale Coding-Modelle 2026 wirklich leisten

Im August 2026 hat Alibaba erst das Spitzenmodell Qwen3.8-Max und wenige Tage später das dichte Qwen3.8-27B unter Apache 2.0 veröffentlicht — ein Modell, das in 4-Bit-Quantisierung auf eine einzelne 24-GB-Grafikkarte passt und in den Benchmarks des Herstellers an kommerziellen Spitzenmodellen kratzt. Dieser Artikel prüft, was von dieser Ansage übrig bleibt. Er ordnet ein, warum ein offenes Modell nicht automatisch ein lokal betreibbares ist, liest die Benchmarktabellen gegen den Strich und zeigt anhand von Drittmessungen, dass ein und dieselbe Modelldatei je nach Reasoning-Einstellung drei sehr verschiedene Modelle ergibt. Dazu kommen die Hardware-Realität mit Speicherbedarf und gemessenen Token pro Sekunde, der Punkt, an dem lokales Reasoning in Wartezeit statt in Geld bezahlt wird, eine ehrliche Liste dessen, was die Cloud weiterhin besser kann, eine Amortisationsrechnung gegen aktuelle API-Preise sowie die Lizenzlage: Apache 2.0 beim 27B, eine eigene Lizenz mit Umsatzbeteiligung beim Max. Ein eigener Abschnitt behandelt die Firmen, die Quellcode aus vertraglichen oder aufsichtsrechtlichen Gründen nicht in die USA geben dürfen. Am Ende steht eine klare Empfehlung, für welche Arbeit sich der lokale Betrieb 2026 lohnt und für welche nicht.

Weiterlesen →
KI-Inhalte erkennen: was Detektoren können und was nicht

KI-Inhalte erkennen: was Detektoren können und was nicht

Seit August 2026 verlangt Artikel 50 des AI Act, dass KI-generierte Inhalte gekennzeichnet werden. Aber was, wenn keine Kennzeichnung dran steht? Dieser Artikel erklärt die beiden Grundverfahren der Erkennung — eingebettete Wasserzeichen und statistische Mustererkennung — und warum beide angreifbar sind. Kernstück ist der Befund aus dem c't-Test des Detektors Pangram, der nicht reproduzierbar arbeitet, je nach Sprachmodell unterschiedlich gut erkennt und sich mit wenigen Handgriffen austricksen lässt. Dazu die Lücken der EU-Regelung, die Lage bei KI-Musik auf den Streamingplattformen und eine praktische Handreichung, wie man Texte sinnvoller prüft als mit einer Prozentzahl.

Weiterlesen →
Vektordatenbanken im Vergleich 2026: Qdrant, Chroma, pgvector, Weaviate, Pinecone & Co.

Vektordatenbanken im Vergleich 2026: Qdrant, Chroma, pgvector, Weaviate, Pinecone & Co.

Dieser ausführliche Leitfaden erklärt dir, wofür du eine Vektordatenbank überhaupt brauchst und wie sie unter der Haube funktioniert – von ANN-Indizes wie HNSW und IVF über Distanzmaße bis zur Hybrid-Suche aus Vektor und Keyword. Anschließend vergleichen wir die führenden Lösungen 2026 im Detail: Qdrant, Chroma, pgvector, Weaviate, Pinecone, Milvus sowie Redis und Elasticsearch. Du bekommst eine übersichtliche Vergleichstabelle, klare Empfehlungen je Anwendungsfall (Prototyp, Self-Hosting/DSGVO, Skalierung, „schon Postgres im Einsatz") und ein praktisches Code-Beispiel zum Einfügen und Durchsuchen von Embeddings.

Weiterlesen →
Quantisierung von LLMs erklärt: Große Modelle auf kleiner Hardware

Quantisierung von LLMs erklärt: Große Modelle auf kleiner Hardware

Dieser ausführliche Leitfaden erklärt dir, wie Quantisierung große Sprachmodelle so weit verkleinert, dass sie auf Consumer-Hardware laufen. Du lernst die Grundlagen von fp32/fp16/bf16 bis int8/int4, verstehst Perplexity als Qualitätsmaß und bekommst einen klaren Überblick über die wichtigsten Formate und Methoden 2026: GGUF mit seinen K-Quants und I-Quants, GPTQ, AWQ und bitsandbytes/NF4. Wir klären den Unterschied zwischen Post-Training-Quantisierung und quantisierungsbewusstem Training, schauen uns den Trade-off Größe gegen Qualität mit handfesten Faustregeln an und du erzeugst und ziehst im Praxisteil selbst Modelle in verschiedenen Quants mit Ollama und llama.cpp.

Weiterlesen →
Reasoning-Modelle erklärt: Wie „denkende" KI funktioniert und wann sie sich lohnt

Reasoning-Modelle erklärt: Wie „denkende" KI funktioniert und wann sie sich lohnt

Reasoning-Modelle „denken" vor der Antwort und lösen damit Mathe, Code und Logik deutlich besser als klassische Chat-Modelle. Dieser Artikel erklärt verständlich, was Test-Time-Compute und Chain-of-Thought bedeuten, wie Denken per Reinforcement Learning antrainiert wird, welche Modelle es 2026 gibt – und wann sich der Aufwand wirklich lohnt. Inklusive Code-Beispielen und Prompting-Tipps.

Weiterlesen →
Einen sprechenden Voice-Agent selbst bauen: Whisper + LLM + TTS in der Praxis

Einen sprechenden Voice-Agent selbst bauen: Whisper + LLM + TTS in der Praxis

In diesem ausführlichen Praxis-Leitfaden baust du Schritt für Schritt einen sprechenden Voice-Agent. Du lernst die komplette Pipeline kennen – vom Mikrofon-Audio über Voice Activity Detection und Speech-to-Text mit Whisper bzw. faster-whisper, über die Antwortgenerierung mit einem LLM bis hin zur Sprachausgabe mit modernen TTS-Engines wie Piper, Kokoro, XTTS, ElevenLabs oder OpenAI. Wir wägen lokale gegen cloud-basierte Optionen ab (inklusive Datenschutz), beleuchten Latenz, Streaming und Barge-in und schauen uns die modernen Speech-to-Speech-Ansätze des Jahres 2026 an. Am Ende steht ein lauffähiges Python-Beispiel, das alle Bausteine verbindet.

Weiterlesen →
Structured Output erzwingen: Wie LLMs zuverlässig sauberes JSON liefern

Structured Output erzwingen: Wie LLMs zuverlässig sauberes JSON liefern

Dieser ausführliche Leitfaden zeigt dir, wie du Large Language Models dazu bringst, zuverlässig sauberes, parsebares JSON zu liefern. Du lernst den Unterschied zwischen einfachem JSON-Mode, echten Structured Outputs mit erzwungenem JSON-Schema, Tool- bzw. Function-Calling und Constrained Decoding für lokale Modelle. Anhand von Python-Code mit Pydantic siehst du konkrete Beispiele für OpenAI und Anthropic Claude – inklusive Validierung, Fehlerbehandlung, Retries, Performance-Überlegungen und Best Practices für robuste Schemas.

Weiterlesen →
Eine lokale ChatGPT-Alternative selbst hosten: Komplett offline mit Open WebUI und Ollama

Eine lokale ChatGPT-Alternative selbst hosten: Komplett offline mit Open WebUI und Ollama

In diesem ausführlichen Praxis-Leitfaden baust du dir deine eigene, komplett lokale ChatGPT-Alternative – ohne Cloud, ohne Abo und mit voller Datenhoheit. Du lernst die Architektur aus Ollama als Modell-Backend und Open WebUI als Oberfläche kennen, verstehst die Hardware-Anforderungen für Apple Silicon und NVIDIA und installierst alles Schritt für Schritt inklusive Docker-Compose-Beispiel. Außerdem schauen wir uns die besten offenen Modelle 2026 an, die wichtigsten Features von Open WebUI wie RAG, Websuche und Mehrbenutzerbetrieb, einen ehrlichen Vergleich zu Cloud-ChatGPT sowie Performance-Tipps und typische Fehler.

Weiterlesen →
Retrieval-Augmented Generation (RAG) von Grund auf selbst bauen: Konzept und Praxis

Retrieval-Augmented Generation (RAG) von Grund auf selbst bauen: Konzept und Praxis

Dieser ausführliche Leitfaden erklärt dir, warum RAG das wichtigste Muster ist, um Halluzinationen zu reduzieren und LLMs mit aktuellem oder firmeneigenem Wissen zu versorgen. Du verstehst die komplette Architektur vom Laden der Dokumente über Chunking, Embeddings und die Vektordatenbank bis zum Retrieval, optionalem Re-Ranking und der Generierung mit Kontext. Im Praxisteil baust du eine minimale, lauffähige RAG-Pipeline in Python mit Chroma und der Anthropic-API. Dazu bekommst du fundierte Hinweise zu Chunk-Größe und Overlap, Hybrid-Suche, Re-Ranking, Evaluierung mit RAGAS sowie eine ehrliche Liste der häufigsten Stolperfallen – alles auf dem Stand 2026.

Weiterlesen →
Die führenden LLM-Anbieter 2026 im großen Vergleich: Modelle, Features, Abos und API-Kosten

Die führenden LLM-Anbieter 2026 im großen Vergleich: Modelle, Features, Abos und API-Kosten

Welcher LLM-Anbieter passt zu dir? Dieser ausführliche Leitfaden vergleicht die führenden Anbieter von Large Language Models im Jahr 2026 – OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini), xAI (Grok), Meta (Llama), Mistral und DeepSeek, ergänzt um Perplexity, Microsoft Copilot und Alibaba Qwen. Für jeden Anbieter schauen wir uns die aktuellen Modelle und ihre Features an, klären, wofür sie sich besonders eignen und für wen sie gemacht sind, welche Desktop-Software es gibt, welche Abo-Stufen angeboten werden und wie hoch die API-Kosten pro Million Token ungefähr ausfallen. Übersichtliche Preistabellen und eine konkrete Entscheidungshilfe helfen dir, das richtige Modell für deinen Anwendungsfall zu finden – inklusive eines Blicks auf den Datenschutz und die DSGVO-Frage.

Weiterlesen →
Das Model Context Protocol (MCP) verständlich erklärt: Was MCP-Server sind und wie das Protokoll funktioniert

Das Model Context Protocol (MCP) verständlich erklärt: Was MCP-Server sind und wie das Protokoll funktioniert

Dieser umfassende Leitfaden erklärt dir Schritt für Schritt, was das Model Context Protocol (MCP) ist und warum es zum „USB-C für KI-Anwendungen" geworden ist. Du lernst das M×N-Integrationsproblem kennen, das MCP löst, und verstehst die drei zentralen Rollen Host, Client und Server. Wir schauen uns die Transportschicht (stdio und HTTP) sowie die JSON-RPC-2.0-Nachrichten im Detail an und arbeiten die drei Server-Primitive Tools, Resources und Prompts heraus. Im praktischen Teil baust du mit dem offiziellen SDK einen eigenen MCP-Server in TypeScript und Python, verstehst den Initialisierungs-Handshake mit Capability-Verhandlung und bindest den Server in Claude Desktop bzw. Claude Code ein. Dazu kommt eine Übersicht der verbreiteten MCP-Server mit ihren Zugriffsrechten, die Frage, ob MCP auch mit lokalen Modellen funktioniert, und eine ausführliche Antwort auf die Sicherheitsfrage — inklusive Prompt Injection über Werkzeugbeschreibungen und Rückgabewerte.

Weiterlesen →
Transformer-Architektur implementieren: Code-Erklärung Zeile für Zeile (Teil 3 von 3)

Transformer-Architektur implementieren: Code-Erklärung Zeile für Zeile (Teil 3 von 3)

Der dritte und finale Teil unserer Serie taucht tief in die Code-Implementierung ein. Nach der Theorie (Teil 1) und der praktischen Anleitung (Teil 2) verstehen wir hier jede einzelne Zeile des Trainings-Codes. Von Token- und Positions-Embeddings über die detaillierte Implementierung der Multi-Head Self-Attention und Feed-Forward Networks bis hin zum kompletten Trainingsloop mit Gradient Accumulation und Mixed Precision. Mit über 800 Zeilen kommentiertem Python-Code und ausführlichen Erklärungen zu jedem Konzept.

Weiterlesen →
Transformer-Architektur trainieren: Praktischer Leitfaden mit PyTorch (Teil 2 von 3)

Transformer-Architektur trainieren: Praktischer Leitfaden mit PyTorch (Teil 2 von 3)

Im zweiten Teil unserer dreiteiligen Serie über die Transformer-Architektur zeige ich dir, wie du ein eigenes Large Language Model trainieren kannst. Nach den theoretischen Grundlagen aus Teil 1 fokussieren wir uns hier auf die praktische Umsetzung. Von der Datenvorbereitung mit WikiText-103 über das GPU-basierte Training bis zur Textgenerierung. Mit drei übersichtlichen Shell-Skripten und detaillierten Erklärungen zu Hardwareanforderungen, Hyperparametern und typischen Problemen.

Weiterlesen →
Transformer-Architektur verstehen: Theorie und Konzepte (Teil 1 von 3)

Transformer-Architektur verstehen: Theorie und Konzepte (Teil 1 von 3)

Dieser erste Teil unserer dreiteiligen Serie über die Transformer-Architektur legt die theoretischen Grundlagen. Du lernst, wie der Attention-Mechanismus funktioniert, warum Multi-Head Attention so mächtig ist, und verstehst die mathematischen Konzepte hinter modernen Sprachmodellen wie GPT. Von Query-Key-Value Prinzipien über Positional Embeddings bis zur autoregressiven Modellierung - alle Kernkonzepte werden verständlich erklärt.

Weiterlesen →
Fine-Tuning von Large Language Models: Ein praktischer Leitfaden mit Python und Ollama

Fine-Tuning von Large Language Models: Ein praktischer Leitfaden mit Python und Ollama

Dieser umfassende Leitfaden zeigt dir Schritt für Schritt, wie du Large Language Models für deine spezifischen Aufgaben fine-tunest. Du lernst die Verwendung von Python mit Unsloth, die Implementierung von LoRA-Adaptern für effizientes Training, den Export ins GGUF-Format und die Integration in Ollama für lokales Deployment. Mit praktischen Code-Beispielen, Performance-Tipps und einem vollständigen GitHub-Repository.

Weiterlesen →