Weight decay is een regularisatie techniek die gebruikt wordt tijdens het trainen van AI-modellen om overfitting te voorkomen. Het voegt een straf term toe aan de verliesfunctie die grote gewichten ontmoedigt.

Hoe weight decay werkt:

1. Tijdens training wordt de ‘kostprijs’ van grote gewichten verhoogd
2. Dit dwingt het model om eenvoudiger parameters te leren
3. Kleinere gewichten resulteren meestal in meer generaliseerbare modellen
4. Het model presteert beter op ongeziene data

Weight decay is eigenlijk hetzelfde als L2 regularisatie, waarbij je de som van de kwadraten van alle gewichten aan de verliesfunctie toevoegt. De sterkte van weight decay is instelbaar – hoger weight decay bedeutet meer nadruk op kleine gewichten, maar kan onderfitting veroorzaken als het te hoog is.