Het Vanishing Gradient probleem treedt op in diepe neurale netwerken waar gradiënten die door backpropagation worden berekend, exponentieel kleiner worden naarmate ze door lagen gaan. Dit maakt het moeilijk voor vroege lagen om te leren.

Dit probleem werd ernstig voor RNN’s en vroege deep networks. Oplossingen omvatten het gebruik van activation functions als ReLU, batch normalization, en architecturen als LSTM die gradiënten beter behouden.