Knowledge Distillation

Knowledge Distillation is het proces van het trainen van een kleiner (student) model om de gedrag van een groter (teacher) model na te bootsen. Dit stelt ons in staat kleinere, snellere modellen te maken.

Dit is zeer waardevol voor deployment op apparaten met beperkte resources. De student model kan bijna even goed presteren als de teacher, maar veel sneller en met minder geheugen.