In juni 2017 publiceerde een team van acht Google-onderzoekers een paper met een bescheiden titel: “Attention Is All You Need”. Het paper introduceerde de Transformer-architectuur. Het is het meest geciteerde AI-paper van de afgelopen tien jaar — en de basis voor vrijwel alles dat sindsdien in AI is gebouwd.
Vóór 2017 werden taalmodellen gebouwd op recurrente netwerken (RNN’s en LSTM’s) die tekst woord voor woord verwerken — traag en slecht in het bijhouden van langetermijnafhankelijkheden. Transformers losten beide problemen op met één elegant mechanisme: attention.
Wat is attention?
Attention laat het model bij elke stap kijken naar alle woorden in de invoer tegelijk, en beslissen welke woorden het meest relevant zijn voor de huidige context. Bij de zin “De bank was leeg omdat alle klanten… ” begrijpt attention dat “klanten” verwijst naar de financiële instelling, niet de zitbank.
Dit maakt Transformers parallel te verwerken (ideaal voor GPU’s) en effectief in het begrijpen van context over lange stukken tekst.
De erfenis: alles wat sindsdien is gebouwd
De lijst van modellen die op Transformers gebaseerd zijn, is in feite de lijst van alle grote moderne AI-modellen:
- BERT (Google, 2018) — bidirectionele taalrepresentaties
- GPT-serie (OpenAI, 2018–heden) — de basis van ChatGPT
- Claude (Anthropic, 2023–heden)
- Gemini (Google DeepMind, 2023–heden)
- LLaMA (Meta, 2023–heden)
- DALL-E, Stable Diffusion — ook afbeeldingsmodellen gebruiken nu Transformer-varianten
De namen achter het paper
De acht auteurs — Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser en Polosukhin — zijn inmiddels verspreid over heel Silicon Valley. Meerdere hebben hun eigen AI-startups opgericht. Noam Shazeer richtte Character.AI op. Aidan Gomez richtte Cohere op.
Het is zeldzaam dat één wetenschappelijk paper zo’n directe en brede impact heeft. “Attention Is All You Need” is dat paper. Zonder Transformers: geen ChatGPT, geen Claude, geen Gemini. Alles wat moderne AI definieert, rust op dit fundament.