Een token is de kleinste eenheid die een AI-taalmodel verwerkt. Tokens zijn geen hele woorden — ze zijn stukjes tekst die kunnen variëren van een enkel teken tot een heel woord, afhankelijk van hoe het model zijn vocabulaire heeft opgebouwd. Het woord onbegrijpelijk kan bijvoorbeeld worden opgesplitst in meerdere tokens.

De reden dat tokens belangrijk zijn, is dat AI-modellen alles meten in tokens: de lengte van je vraag, het antwoord dat ze genereren, en de totale capaciteit van het zogenaamde context window. Hoe meer tokens een model tegelijk kan verwerken, hoe langer en complexer de gesprekken kunnen zijn.

Bij het gebruik van AI via een API betaal je doorgaans per token — zowel de tokens die je instuurt (input) als de tokens die het model teruggeeft (output). Efficiënt formuleren bespaart dus letterlijk geld.