Category Archives: AI Term van de Dag

Een Language Model (taalmodel) is een AI-model dat is getraind om de waarschijnlijkheid van woord-sequenties te voorspellen op basis van eerdere woorden. Dit vormt de basis van veel generatieve AI-systemen.

Grote Language Models (LLMs) zoals GPT, Claude en Gemini zijn traind op miljarden woorden en kunnen complexe taken uitvoeren, van het beantwoorden van vragen tot het schrijven van code.

Mixture of Experts (MoE) is een architectuur waarbij een neuraal netwerk bestaat uit meerdere gespecialiseerde ‘expert’-submodellen, en een router bepaalt welke expert(s) voor elke invoer gebruikt worden.

Dit maakt het mogelijk grotere capaciteit te bereiken zonder de compute-kosten exponentieel te verhogen. Elk expert richt zich op specifieke patronen of taken.

Een Masked Language Model is een trainingstechniek waarbij willekeurig woorden in tekst worden vervangen door ‘[MASK]’ tokens, en het model leert deze woorden te voorspellen op basis van de context.

Dit werd gepopulariseerd door BERT. Het dwingt het model om bidirectioneel kontekst te begrijpen, omdat het naar links en rechts moet kijken om het gemaskeerde woord te voorspellen.

Model Drift treedt op wanneer de performance van een AI-model in productie slechter wordt omdat de reële gegevens veranderen ten opzichte van de trainingsgegevens waarop het was gebaseerd.

Dit gebeurt omdat de wereld verandert: seizoensvariaties, nieuwe trends, gedragsveranderingen. Een model getraind op data van 2023 kan in 2026 minder goed presteren.

Next Token Prediction is de kernopsplitsing waarvoor grote taalmodellen worden getraind. Het model voorspelt iteratief welk woord (token) het waarschijnlijkste volgende is in een sequentie.

Dit simpele trainingsprincipe leidt tot emergent gedrag: het model leert beredeneren, programmeren, vertalen en nog veel meer. Tijdens inferentie wordt het proces herhaald tot een complete response is gegenereerd.

Normalization is een techniek om invoer- of outputgegevens op een consistent schaal te brengen voordat ze in een AI-model worden gebruikt. Dit zorgt ervoor dat het model stabiel en efficiënt traint.

Veel normalisatietechnieken worden gebruikt in deep learning, zoals batch normalization, layer normalization en instance normalization. Ze helpen gradiënten stabieler te houden tijdens training.

On-device AI betekent dat AI-modellen lokaal op je apparaat draaien in plaats van via het internet naar servers te sturen. Dit biedt voordelen op het gebied van privacy, snelheid en offline-beschikbaarheid.

In plaats van gegevens naar de cloud te sturen, wordt alles verwerkt op je telefoon, computer of ander apparaat. Dit is steeds gebruikelijker met quantized en meer efficiënte modellen.

Open-source AI verwijst naar AI-modellen waarvan de code en gewichten openbaar beschikbaar zijn, zodat iedereen ze kan gebruiken, aanpassen en verbeteren.

Dit staat in contrast met propriëtaire modellen van bedrijven zoals OpenAI. Open-source modellen zoals Llama, Mistral en andere bieden meer vrijheid en transparantie, hoewel ze vaak minder geavanceerd zijn dan de beste propriëtaire modellen.

Een Machine Learning Pipeline is een geautomatiseerde reeks stappen om gegevens van ruw invoer naar voorspellingen te transformeren. Het omvat preprocessing, feature engineering, training en deployment.

Pipelines zorgen voor reproduceerbare, schaalbare machine learning. Ze voorkomen datalekkage en zorg ervoor dat trainings- en productiegegevens op dezelfde manier worden verwerkt.

Positional Encoding is een techniek in transformers die informatie over de positie van tokens in een sequentie toevoegt aan hun embeddings. Dit helpt het model te begrijpen waar elk woord in de zin staat.

Transformers verwerken alle tokens parallel (niet sequentieel), dus zonder positional encoding zou het model niet weten welk woord voor welk komt. Er zijn verschillende implementaties zoals sinusoïdale encodings en learned positions.