Christoph Kind LogoCHRISTOPH KIND
Transformer-Architektur: wie moderne Sprachmodelle aufgebaut sind

Transformer-Architektur: wie moderne Sprachmodelle aufgebaut sind

Transformer-Architektur: wie moderne Sprachmodelle aufgebaut sind

Artikel-Übersicht

Diese Seite ist der Einstieg in eine dreiteilige Reihe. Sie erklärt in einem Durchgang, was die Transformer-Architektur ist, welches Problem sie gelöst hat und aus welchen Bausteinen sie besteht — kurz genug, um sie in zehn Minuten zu lesen. Wer danach tiefer einsteigen will, findet die Verweise auf die drei Teile: die Theorie mit Attention und Multi-Head, das praktische Training eines GPT-2-Modells mit PyTorch und die vollständige Implementierung Zeile für Zeile. Der letzte Abschnitt schlägt die Brücke in die Praxis, denn drei Dinge, die im Alltag mit Sprachmodellen ständig auftauchen, folgen unmittelbar aus dieser Architektur: warum das Kontextfenster begrenzt ist, warum Quantisierung überhaupt funktioniert und warum lokale Modelle an Speichergrenzen stoßen.

Was die Transformer-Architektur ist

Die Transformer-Architektur ist ein neuronales Netz, das Beziehungen zwischen allen Elementen einer Eingabe gleichzeitig berechnet, statt sie nacheinander zu verarbeiten. Genau diese Gleichzeitigkeit ist der Grund, warum sich damit Modelle in einer Größenordnung trainieren lassen, die vorher nicht erreichbar war.

Vor 2017 war Sprachverarbeitung eine Angelegenheit rekurrenter Netze: Sie lasen einen Text Wort für Wort und trugen einen Zustand mit sich. Das hatte zwei Nachteile. Erstens ließ es sich schlecht parallelisieren — Wort 500 kann man erst berechnen, wenn Wort 499 fertig ist. Zweitens verblasste der Anfang eines langen Textes, bis das Ende erreicht war.

Der Transformer löst beides mit einem Mechanismus namens Attention: Jedes Element der Eingabe schaut auf alle anderen und gewichtet, welche davon für seine eigene Bedeutung wichtig sind. Alle diese Berechnungen sind voneinander unabhängig und laufen deshalb gleichzeitig auf tausenden Recheneinheiten.

Die Arbeit, die das beschrieb, trug einen Titel, der das Prinzip auf den Punkt brachte: Aufmerksamkeit ist alles, was man braucht.

Die Bausteine im Überblick

Ein Sprachmodell moderner Bauart besteht aus wenigen Bausteinen, die vielfach gestapelt werden. In der Reihenfolge, in der die Daten sie durchlaufen:

Baustein Aufgabe Wo im Detail
Tokenisierung Text in kleine Einheiten zerlegen, die das Modell verarbeiten kann Teil 1
Embedding jedes Token in einen Vektor übersetzen, der Bedeutung trägt Teil 1
Positionskodierung die Reihenfolge in die Vektoren einbringen — ohne sie wäre der Satz eine Menge, keine Folge Teil 1
Self-Attention jedes Token gewichtet alle anderen nach Relevanz Teil 1, Teil 3
Multi-Head Attention mehrere Aufmerksamkeitsköpfe parallel, jeder mit anderem Blickwinkel Teil 1, Teil 3
Feed-Forward-Schicht verarbeitet jedes Token einzeln weiter Teil 3
Residualverbindungen leiten das Eingangssignal an der Schicht vorbei — hält tiefe Netze trainierbar Teil 3
Normalisierung hält die Zahlenbereiche stabil Teil 3
Ausgabeschicht erzeugt eine Wahrscheinlichkeitsverteilung über das nächste Token Teil 2, Teil 3

Der wichtigste Satz zum Verständnis steht in der letzten Zeile: Ein Sprachmodell sagt nicht „die Antwort" vorher, sondern eine Wahrscheinlichkeitsverteilung über das jeweils nächste Token. Alles, was sich wie Denken anfühlt, entsteht daraus, dass dieser Schritt sehr oft hintereinander ausgeführt wird.

Zum Embedding-Baustein gibt es einen eigenen Artikel, weil er über das Modellinnere hinaus praktische Bedeutung hat: Embeddings verständlich erklärt.

Die drei Teile dieser Reihe

Teil 1 — Transformer-Architektur: Attention, Multi-Head und GPT (Theorie) Für alle, die verstehen wollen, warum der Aufbau so aussieht. Attention im Detail, die Rolle von Query, Key und Value, Multi-Head, Positionskodierung und die Unterschiede zwischen Encoder- und Decoder-Architekturen. Nach diesem Teil kannst du ein Architekturdiagramm lesen.

Teil 2 — LLM Training Tutorial: GPT-2 mit PyTorch trainieren Für alle, die es laufen sehen wollen. Ein kleines GPT-Modell wird auf echten Daten trainiert, mit Datenaufbereitung, Trainingsschleife, Verlustkurve und den Punkten, an denen das Training kippt. Nach diesem Teil hast du ein Modell, das du selbst trainiert hast.

Teil 3 — Transformer Code Deep-Dive: GPT-Implementierung in Python Für alle, die jede Zeile sehen wollen. Die vollständige Implementierung ohne Framework-Magie — jede Matrixmultiplikation, jede Schicht, jeder Tensor mit seinen Dimensionen. Nach diesem Teil gibt es keine Blackbox mehr.

Die drei Teile bauen aufeinander auf, lassen sich aber einzeln lesen. Wenn du nur eines davon liest, nimm Teil 1.

Was das für die Praxis bedeutet

Drei Dinge, die im Alltag mit Sprachmodellen ständig auftauchen, sind direkte Folgen dieser Architektur.

Das Kontextfenster ist begrenzt, weil Attention quadratisch kostet. Jedes Token schaut auf jedes andere — bei doppelter Eingabelänge vervierfacht sich der Aufwand. Deshalb ist ein längeres Kontextfenster nicht nur eine Einstellung, sondern eine Kostenfrage, und deshalb ist das Nachschlagen relevanter Ausschnitte oft die bessere Antwort als immer mehr Kontext. Was daraus folgt, steht in Context Window und lange Kontexte bei LLMs und in RAG selbst bauen.

Eine Anmerkung dazu: Die quadratische Kostenstruktur gilt für die klassische Self-Attention. Effizientere Varianten — dazu gehört unter anderem Flash Attention — ändern die Konstanten und die Speicherzugriffe erheblich, ohne das Grundprinzip aufzuheben.

Quantisierung funktioniert, weil die Gewichte redundant sind. Ein Modell speichert Milliarden Zahlen. Reduziert man deren Genauigkeit von 16 auf 4 Bit, schrumpft der Speicherbedarf auf etwa ein Viertel — und die Qualität sinkt weit weniger, als man erwarten würde. Warum das so ist und welche Stufe wann sinnvoll ist, steht in LLM-Quantisierung: GGUF, GPTQ und AWQ.

Lokale Modelle stoßen an Speichergrenzen, nicht an Rechengrenzen. Weil alle Gewichte für jede Vorhersage verfügbar sein müssen, ist der Speicher des Beschleunigers die harte Grenze — und der Zwischenspeicher für den Kontext kommt obendrauf. Die Rechnung dazu steht in Welches Ollama-Modell?, der Unterbau in Ollama: lokale Sprachmodelle betreiben.

Häufige Fragen

Was ist die Transformer-Architektur? Ein neuronales Netz, das Beziehungen zwischen allen Elementen einer Eingabe gleichzeitig berechnet, statt sie nacheinander zu verarbeiten. Der zentrale Mechanismus heißt Attention.

Was bedeutet Attention? Jedes Token gewichtet alle anderen Token der Eingabe danach, wie wichtig sie für seine eigene Bedeutung sind. Diese Gewichte werden gelernt, nicht festgelegt.

Warum haben Transformer die rekurrenten Netze abgelöst? Weil sich ihre Berechnungen parallelisieren lassen und weil sie den Anfang einer langen Eingabe nicht vergessen. Beides war bei rekurrenten Netzen die Grenze.

Was ist der Unterschied zwischen Transformer und LLM? Der Transformer ist die Architektur, ein Large Language Model ein konkretes, auf sehr viel Text trainiertes Modell dieser Bauart. Es gibt Transformer-Modelle, die keine Sprachmodelle sind — etwa für Bilder.

In welcher Sprache ist das alles geschrieben? Die Referenzimplementierungen und die Beispiele in dieser Reihe sind in Python mit PyTorch. Für den produktiven Betrieb werden die Rechenkerne allerdings in systemnahen Sprachen umgesetzt.

Zusammenfassung und praktische Tipps

Die Transformer-Architektur ist der Unterbau praktisch aller heutigen Sprachmodelle, und ihre Eigenheiten erklären fast alle Grenzen, gegen die man im Alltag läuft. Die wichtigsten Punkte:

  • Attention statt Rekurrenz. Alle Elemente werden gleichzeitig in Beziehung gesetzt — das ist der Grund für die Skalierbarkeit.
  • Ein Modell sagt das nächste Token vorher, nichts weiter. Alles Übrige entsteht durch Wiederholung.
  • Wenige Bausteine, vielfach gestapelt. Embedding, Positionskodierung, Attention, Feed-Forward, Normalisierung — mehr ist es im Kern nicht.
  • Die quadratische Kostenstruktur der Attention ist der Grund für Kontextgrenzen und für die Existenz von RAG.
  • Quantisierung funktioniert, weil die Gewichte mehr Genauigkeit tragen, als für gute Antworten nötig ist.
  • Speicher ist die Grenze, nicht Rechenleistung — deshalb entscheidet er über die Modellgröße, die lokal läuft.

Mein Rat: Lies Teil 1, auch wenn du nicht vorhast, selbst ein Modell zu bauen. Die zwei Stunden zahlen sich in jedem Gespräch über Kontextlängen, Kosten und Modellgrößen aus — weil du dann weißt, warum die Zahlen so aussehen, wie sie aussehen, statt sie auswendig zu lernen.

Ressourcen