Term van de dag
Self-supervised Learning
Self-supervised Learning is een machine learning aanpak waarbij modellen automatisch leerdoelen creëren uit ongelabelde gegevens. In plaats van menselijke labels nodig te hebben, genereert het model zelf labels uit de structuur van de gegevens zelf.
Dit maakt self-supervised learning bijzonder krachtig omdat het werkt met grote hoeveelheden ongelabelde gegevens, wat veel voorkomt in de echte wereld. Pre-training van grote taalmodellen als BERT en GPT is veelal gebaseerd op self-supervised learning.
Voorbeeld: Bij pre-training van een taalmodel kan self-supervised learning werken door het volgende woord in een zin te voorspellen. Het model ziet een zin als “De kat zit op de…” en leert automatisch dat “mat” een waarschijnlijk vervolgwoord is. Dit leidt zonder menselijke labeling tot nuttige taalkennis.
Term van de dag archief
Alle AI-termen op één plek. Blader door het volledige archief, gesorteerd op alfabet.