Transformer-Architektur: wie moderne Sprachmodelle aufgebaut sind
Diese Übersichtsseite ordnet die Transformer-Architektur in einem Durchgang ein — was sie ist, warum sie die Rekurrenz abgelöst hat, und aus welchen Bausteinen ein Sprachmodell tatsächlich besteht. Sie ist bewusst kurz gehalten und dient als Einstieg in die dreiteilige Reihe: Theorie, praktisches Training mit PyTorch und die vollständige Implementierung im Code. Der letzte Abschnitt schlägt die Brücke zur Praxis und erklärt, warum die quadratische Kostenstruktur der Attention der Grund für Kontextgrenzen ist, warum Quantisierung funktioniert und wo lokale Modelle deshalb an ihre Speichergrenzen stoßen.