Erfindung · 2017
Transformer-Architektur (Grundlage der KI-Sprachmodelle)
2017 erscheint die Forschungsarbeit, ohne die es keine heutige KI gäbe.
Was 2017 begann
Acht Google-Forscher stellten am 12. Juni 2017 eine neue Bauweise für neuronale Netze vor: Statt Wort für Wort durchzugehen, schaut das Modell auf alles gleichzeitig und gewichtet, was wichtig ist. Das war so viel schneller zu trainieren, dass plötzlich riesige Sprachmodelle möglich wurden. Jede große KI von heute baut darauf auf.
Die Arbeit trägt den Titel „Attention Is All You Need“ — und das „T“ in ChatGPT steht bis heute für Transformer.
Wie Transformer-Architektur (Grundlage der KI-Sprachmodelle) in die Welt kam
Bis 2017 verarbeiteten KI-Übersetzer Text mit rekurrenten Netzen Wort für Wort in strenger Reihenfolge. Das machte lange Sätze fehleranfällig, weil der Zustand des Netzes erst nach dem letzten Wort eines Satzes vollständig zur Verfügung stand, und ließ sich beim Training kaum parallelisieren.
Selbst in Fachkreisen galt die Grundidee als gewagt: Jakob Uszkoreit, einer der acht Autoren, vermutete, dass reine Aufmerksamkeit ganz ohne rekurrente Struktur für Übersetzungen ausreichen könnte — eine These, die selbst sein eigener Vater Hans Uszkoreit, ein anerkannter Computerlinguist, für unwahrscheinlich hielt.
Am 12. Juni 2017 stellten acht Google-Forscher, unter ihnen Ashish Vaswani und Noam Shazeer, ihre Arbeit 'Attention Is All You Need' vor und präsentierten sie später im selben Jahr auf der Konferenz NeurIPS. Die Autorenreihenfolge wurde bewusst ausgelost, weil alle acht als gleichwertig an der Idee beteiligt waren.
Aus der Idee wurde das Fundament: Auf ihr bauen BERT, die GPT-Modelle und heutige Bildgeneratoren wie DALL-E und Sora auf. Bis 2026 wurde das Paper mehr als 250.000 Mal zitiert — eine der meistzitierten Forschungsarbeiten des Jahrhunderts.
Rundherum, im Jahr 2017
Auf den Plattentellern und in den Charts lag 2017 „Despacito" von Luis Fonsi feat. Daddy Yankee.
Transformer-Architektur war 2017 nicht die einzige Neuheit: im selben Jahr kam auch CAR-T-Zelltherapie und Face ID — 2017 wird die erste Therapie zugelassen, bei der die eigenen Immunzellen umprogrammiert werden, um Krebs zu bekämpfen.
Die Idee kam aus den USA — Ashish Vaswani, Noam Shazeer u. a. (Google) steht als Urheber in den Quellen.
Zwischen damals und heute liegen 9 Jahre.
Preise zum Vergleich: eine Kinokarte um 2010: rund 9 Euro
Im Jahr von Transformer-Architektur lag unter dem Weihnachtsbaum Minecraft und Lego Ninjago und Lego Friends — die erste eigene Welt, in der die Nacht wirklich gefährlich war.
Rund um Transformer-Architektur sah Mode so aus: Skinny Jeans (Röhrenjeans) und Athleisure / Jogginghose im Alltag — die Jeans, in die man sich buchstäblich hineinlegen musste.
Wer im Jahr von Transformer-Architektur geboren wurde, gehört zur Generation, die man Generation Alpha nennt: Touchscreen von Geburt an, YouTube/TikTok.
Was wir wissen
| Jahr | 2017 |
|---|---|
| Erfinder | Ashish Vaswani, Noam Shazeer u. a. (Google) |
| Land | USA |
| Cluster | Digital |
| Existiert noch | Ja |
Zeit-Anker
Der Jahrgang 2017
Wer mit Transformer-Architektur aufgewachsen ist, gehört zu einer Generation mit Namen: Generation Alpha.
Und wovor sich die Welt in jenen Jahren fürchtete: Magnetfeld-Umkehrung der Erde.
Gut zu wissen
Wann wurde die Transformer-Architektur erfunden?
Die Transformer-Architektur wird auf den 12. Juni 2017 datiert (2017).
Wer hat die Transformer-Architektur erfunden?
Die Transformer-Architektur geht auf Ashish Vaswani, Noam Shazeer u. a. (Google) aus den USA zurück.
Was war noch neu, als Transformer-Architektur (Grundlage der KI-Sprachmodelle) neu war?
Welche Erfindung ist genauso alt wie du? Jede Erfindung hat ein Geburtsjahr, und jeder Mensch auch. urera erzählt, was darin geschah.
Eigenen Bericht erstellen