Weight Initialization is het proces van het stellen van beginwaarden voor de gewichten van een neuraal netwerk voordat training begint. De initiele gewichten beïnvloeden sterk hoe snel en goed het netwerk convergeert.

Goede strategieën omvatten Xavier/Glorot initialization en He initialization. Slechte initializatie kan leiden tot exploderende of verdwijnende gradiënten. Dit is een kritieke, maar vaak genegeerde, hyperparameter.