Het attention mechanism is een techniek die AI-modellen in staat stelt om bij het verwerken van tekst selectief aandacht te schenken aan de meest relevante woorden of zinsdelen. In plaats van alle woorden in een zin gelijk te behandelen, leert het model welke woorden het zwaarste mogen meewegen bij het genereren van een antwoord.

Dit concept werd in 2017 geïntroduceerd via het invloedrijke artikel “Attention is All You Need” en vormt de basis van de zogenoemde Transformer-architectuur — het fundament onder vrijwel alle moderne taalmodellen zoals GPT, Claude en Gemini. Dankzij het attention mechanism kunnen modellen lange teksten begrijpen en coherente, contextuele antwoorden geven.

Voor iedereen die met AI werkt, is het nuttig te weten dat het attention mechanism direct invloed heeft op hoe goed een model lange of complexe vragen begrijpt. Hoe groter het context window, hoe meer woorden het model tegelijk “in de gaten” kan houden — en des te nauwkeuriger de aandacht verdeeld kan worden.