Embeddings, RAG und Vektordatenbanken

Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand und was in sein Kontextfenster passt. Damit es mit eigenen Dokumenten arbeiten kann, braucht es drei Bausteine: Embeddings, die Texte als Vektoren vergleichbar machen, eine Vektordatenbank, die die ähnlichsten Abschnitte schnell findet, und Retrieval-Augmented Generation (RAG), die diese Abschnitte dem Modell zur Antwort mitgibt.

Die Artikel dieses Themas beginnen beim Konzept, gehen über die Wahl des Embedding-Modells für deutsche Texte und den Vergleich der Vektordatenbanken bis zum selbst gebauten RAG-System und den Grenzen langer Kontexte.

Alle Artikel zum Thema (5)