Next Token Prediction is de kernopsplitsing waarvoor grote taalmodellen worden getraind. Het model voorspelt iteratief welk woord (token) het waarschijnlijkste volgende is in een sequentie.

Dit simpele trainingsprincipe leidt tot emergent gedrag: het model leert beredeneren, programmeren, vertalen en nog veel meer. Tijdens inferentie wordt het proces herhaald tot een complete response is gegenereerd.