Sampling in AI is het proces van het selecteren van mogelijke outputs uit een model’s waarschijnlijkheidsverdeling. In plaats van altijd de meest waarschijnlijke output te kiezen (greedy decoding), kan sampling ervoor zorgen dat het model meer diverse en creatieve antwoorden genereert.

Bij een taalmodel kan sampling gebruikt worden voor tekst generatie:

1. Het model berekent probabiliteiten voor elk mogelijk volgende woord
2. In plaats van het woord met de hoogste kans te kiezen, trekken we willekeurig uit deze verdeling
3. Dit maakt tekst natuurlijker en diverser

Varianten van sampling omvatten top-k sampling (alleen de k meest waarschijnlijke tokens selecteren), nucleus sampling (selecteer totdat je 95 procent cumulatieve waarschijnlijkheid bereikt), en temperature scaling (beheers hoe flat of scherp de verdeling is).