Een Masked Language Model is een trainingstechniek waarbij willekeurig woorden in tekst worden vervangen door ‘[MASK]’ tokens, en het model leert deze woorden te voorspellen op basis van de context.

Dit werd gepopulariseerd door BERT. Het dwingt het model om bidirectioneel kontekst te begrijpen, omdat het naar links en rechts moet kijken om het gemaskeerde woord te voorspellen.