urera

Erfindung · 2017

Transformer-Architektur (Grundlage der KI-Sprachmodelle)

2017 erscheint die Forschungsarbeit, ohne die es keine heutige KI gäbe.

Digital

Woher es kommt

Was 2017 begann

Acht Google-Forscher stellten am 12. Juni 2017 eine neue Bauweise für neuronale Netze vor: Statt Wort für Wort durchzugehen, schaut das Modell auf alles gleichzeitig und gewichtet, was wichtig ist. Das war so viel schneller zu trainieren, dass plötzlich riesige Sprachmodelle möglich wurden. Jede große KI von heute baut darauf auf.

Die Arbeit trägt den Titel „Attention Is All You Need“ — und das „T“ in ChatGPT steht bis heute für Transformer.

Einordnung

Rundherum, im Jahr 2017

Auf den Plattentellern und in den Charts lag 2017 „Despacito" von Luis Fonsi feat. Daddy Yankee.

Transformer-Architektur (Grundlage der KI-Sprachmodelle) war 2017 nicht die einzige Neuheit: im selben Jahr kam auch CAR-T-Zelltherapie (erste Zulassung) und Face ID (Gesichtserkennung im Handy) — 2017 wird die erste Therapie zugelassen, bei der die eigenen Immunzellen umprogrammiert werden, um Krebs zu bekämpfen.

Die Idee kam aus den USA — Ashish Vaswani, Noam Shazeer u. a. (Google) steht als Urheber in den Quellen.

Zwischen damals und heute liegen 9 Jahre.

Preise von damals, zum Vergleich: eine Kinokarte kostete rund 9 Euro

Im Jahr von Transformer-Architektur (Grundlage der KI-Sprachmodelle) lag unter dem Weihnachtsbaum Minecraft und Lego Ninjago und Lego Friends — die erste eigene Welt, in der die Nacht wirklich gefährlich war.

Rund um Transformer-Architektur (Grundlage der KI-Sprachmodelle) sah Mode so aus: Skinny Jeans (Röhrenjeans) und Athleisure / Jogginghose im Alltag — die Jeans, in die man sich buchstäblich hineinlegen musste.

Wer im Jahr von Transformer-Architektur (Grundlage der KI-Sprachmodelle) geboren wurde, gehört zur Generation, die man Generation Alpha nennt: Touchscreen von Geburt an, YouTube/TikTok.

Daten

Was wir wissen

Jahr2017
ErfinderAshish Vaswani, Noam Shazeer u. a. (Google)
LandUSA
ClusterDigital
Existiert nochJa

Quelle: en.wikipedia (Transformer (deep learning architecture)); de.wikipedia (Transformer (Maschinelles Lernen))

Zeit-Anker

Der Jahrgang 2017

Wer mit Transformer-Architektur (Grundlage der KI-Sprachmodelle) aufgewachsen ist, gehört zu einer Generation mit Namen: Generation Alpha.

Und wovor sich die Welt in jenen Jahren fürchtete: Magnetfeld-Umkehrung der Erde.

Häufige Fragen

Gut zu wissen

Wann wurde Transformer-Architektur (Grundlage der KI-Sprachmodelle) erfunden?

Transformer-Architektur (Grundlage der KI-Sprachmodelle) wird auf den 12. Juni 2017 datiert (2017).

Wer hat Transformer-Architektur (Grundlage der KI-Sprachmodelle) erfunden?

Transformer-Architektur (Grundlage der KI-Sprachmodelle) geht auf Ashish Vaswani, Noam Shazeer u. a. (Google) aus US zurück.

Jeden Monat verlosen wir einen vollen urera-Bericht — kostenlos mitmachen.Teilnehmen

Was war noch neu, als Transformer-Architektur (Grundlage der KI-Sprachmodelle) neu war?

Welche Erfindung ist genauso alt wie du? Jede Erfindung hat ein Geburtsjahr, und jeder Mensch auch. urera erzählt, was darin geschah.

Eigenen Bericht erstellen