Positional Encoding is een techniek in transformers die informatie over de positie van tokens in een sequentie toevoegt aan hun embeddings. Dit helpt het model te begrijpen waar elk woord in de zin staat.

Transformers verwerken alle tokens parallel (niet sequentieel), dus zonder positional encoding zou het model niet weten welk woord voor welk komt. Er zijn verschillende implementaties zoals sinusoïdale encodings en learned positions.