Cross-entropy Loss is een kostenfunctie die veelgebruikt wordt in classificatiemodellen, vooral bij binary en multi-class classificatie. Het meet hoe ver de voorspelde waarschijnlijkheidsverdeling van het model afwijkt van de werkelijke labels.

Cross-entropy bestraft grote afwijkingen harder dan kleine afwijkingen. Dit helpt het model goed gecalibreerde waarschijnlijkheden te leren en niet alleen correcte classificaties, maar ook betrouwbare voorspellingen.