Author Archives: admin

Positional Encoding

Term van de dag
Positional Encoding

Positional Encoding is een techniek in transformers die informatie over de positie van tokens in een sequentie toevoegt aan hun embeddings. Dit helpt het model te begrijpen waar elk woord in de zin staat.

Transformers verwerken alle tokens parallel (niet sequentieel), dus zonder positional encoding zou het model niet weten welk woord voor welk komt. Er zijn verschillende implementaties zoals sinusoïdale encodings en learned positions.

Voorbeeld: Voor de zin ‘De kat zat op de mat’ geeft positional encoding aan dat ‘De’ op positie 1 is, ‘kat’ op positie 2, enzovoort.
Terug
📚
Term van de dag archief
Alle AI-termen op één plek. Blader door het volledige archief, gesorteerd op alfabet.

Post-training

Term van de dag
Post-training

Post-training is de fase na het basistraining van een AI-model waarin het model wordt verfijnd en aangeleerd voor specifieke taken en gedragingen via technieken als supervised fine-tuning, RLHF en instruct-tuning.

Terwijl pre-training (op miljarden tokens) het model leert patroonherkenning, zorgt post-training ervoor dat het model veilig, nuttig en aanstuurbaar wordt. Dit is waar modellen leren op vragen antwoord te geven in plaats van slechts woorden te voorspellen.

Voorbeeld: Claude werd eerst pre-trained op internet-tekst, en daarna post-trained om nuttige, onschuldige en eerlijke antwoorden te geven.
Terug
📚
Term van de dag archief
Alle AI-termen op één plek. Blader door het volledige archief, gesorteerd op alfabet.

Quality Assurance (AI)

Term van de dag
Quality Assurance (AI)

Quality Assurance in AI omvat het systematisch testen en verificeren dat AI-modellen en -systemen aan kwaliteitsnormen voldoen voordat ze in productie gaan. Dit bevat functionaliteit, beveiliging, bias en prestaties.

QA voor AI is complex omdat modellen gedifferentieerd gedrag kunnen vertonen op verschillende soorten input. Het gaat niet alleen om bug-testing, maar ook om het detecteren van bias, hallucinations en onverwacht gedrag.

Voorbeeld: Testen of een AI-chatbot geen discriminatoire opmerkingen maakt, of geen valse informatie geeft, en of het op verschillende talen evengoed werkt.
Terug
📚
Term van de dag archief
Alle AI-termen op één plek. Blader door het volledige archief, gesorteerd op alfabet.

OpenAI sluit Sora en lanceert bug bounty — wat is er aan de hand?

OpenAI heeft in de laatste week van maart meerdere ingrijpende beslissingen genomen. De meest opvallende: het bedrijf sluit Sora, de AI-videogenerator die slechts zes maanden geleden werd gelanceerd. Tegelijk kondigde OpenAI aan dat het geplande erotica-modus voor ChatGPT voor onbepaalde tijd wordt uitgesteld, waarbij het bedrijf aangeeft zich te willen concentreren op verdere intelligentie-verbeteringen.

Op het gebied van veiligheid maakt OpenAI een stevige stap vooruit. Het bedrijf heeft officieel een bug bounty-programma gelanceerd waarbij ethische hackers, security-onderzoekers en developers beloond worden voor het ontdekken van kwetsbaarheden in AI-systemen. Dit is een opmerkelijke stap voor een AI-bedrijf dat zich voorbereidt op een beursintroductie later dit jaar.

Tegelijkertijd rolt OpenAI GPT-5.4 mini uit voor alle Free en Go-gebruikers via de Thinking-functie, terwijl de oudere GPT-5.1-modellen per 11 maart niet meer beschikbaar zijn. De nieuwe versies introduceren ook interactieve visuele modules waarmee ChatGPT bepaalde onderwerpen visueel kan presenteren in het gesprek.

AI-hardware: NVIDIA H100 en B200 architectuur voor LLM-training en inferentie

Expert • Les 30

AI-hardware: NVIDIA H100 en B200 architectuur voor LLM-training en inferentie

Grote taalmodellen draaien op gespecialiseerde hardware die fundamenteel verschilt van consumentengamekaarten. De NVIDIA H100 (Hopper, 2022) en B200 (Blackwell, 2024) zijn het ruggengraat van vrijwel alle hedendaagse LLM-training en -inferentie in de cloud. Begrijpen hoe deze chips werken helpt bij het nemen van infrastructuurkeuzes en het begrijpen van schaallimieten.

Tensor Cores: matrixvermenigvuldiging als first-class citizen

De kern van AI-hardware zijn Tensor Cores: gespecialiseerde rekeneenheden die matrix-matrixvermenigvuldigingen in mixed precision (FP16/BF16 input, FP32 accumulatie) uitvoeren. De H100 SXM5 heeft 528 Tensor Cores van de vierde generatie, goed voor 3958 TFLOPS in FP16. De B200 verdubbelt dit naar 9000 TFLOPS. Vergeleken met een moderne consumentenkaart (RTX 4090: 330 TFLOPS FP16) is dit een factor 10-30 meer rekenkracht.

HBM-geheugen en bandbreedte

LLM-inferentie is memory-bandwidth-gebonden: de bottleneck is hoe snel modelgewichten uit geheugen geladen kunnen worden, niet de rekenkracht. De H100 SXM5 heeft 80 GB HBM3 met 3.35 TB/s bandbreedte. De B200 stijgt naar 192 GB HBM3e met 8 TB/s. Vergelijk dit met een RTX 4090 (24 GB GDDR6X, 1 TB/s). Deze bandbreedte bepaalt directe de maximale token-generatiesnelheid bij inferentie.

NVLink en NVSwitch: multi-GPU connectiviteit

Grote modellen passen niet op één GPU en worden verdeeld over meerdere chips via tensor- en pipeline-parallelisme. NVLink verbindt GPU’s direct met hoge bandbreedte (H100: 900 GB/s bidirectioneel per GPU in een DGX H100 node met NVSwitch). Dit is cruciaal voor efficient model-parallelisme: de communicatiekost tussen GPU’s is lager dan de rekentijd, waardoor schaling naar 8 of 16 GPU’s bijna lineair efficiënt is.

Blackwell B200: transformer engine en FP8

De B200 introduceert native FP8-ondersteuning in de Transformer Engine: een hardware-accelerator die automatisch wisselende precisieverlagingen toepast per laag, wat het geheugengebruik halveert en de doorvoer verdubbelt ten opzichte van BF16, zonder significante kwaliteitsverlies. NVLink Switch System verbindt 576 B200-GPU’s in een enkel fabric met 1.8 PB/s totale bandbreedte — de schaal die nodig is voor de volgende generatie frontier-modellen.

Terug

Model merging en SLERP: meerdere modellen samenvoegen zonder hertraining

Expert • Les 29

Model merging en SLERP: meerdere modellen samenvoegen zonder hertraining

Stel dat je twee fine-tuned versies hebt van hetzelfde basismodel: één gespecialiseerd in code, één in meertaligheid. Kun je ze combineren zonder alles opnieuw te trainen? Model merging maakt dit mogelijk door de gewichten van meerdere modellen wiskundig samen te voegen. Het is een techniek die in 2023-2024 grote populariteit verwierf in de open-source modelgemeenschap.

Lineair gewichten middelen: de basis

De eenvoudigste methode is linear interpolation: neem een gewogen gemiddelde van de gewichtstensoren van twee modellen. Als beide modellen vanuit hetzelfde basismodel zijn fine-tuned, delen ze dezelfde gewichtsruimte en is middeling zinvol. De fusie erft kenmerken van beide — mits de taak-richtingen niet te sterk conflicteren. Dit werkt verrassend goed maar gaat soms gepaard met kwaliteitsverlies op beide specialisaties.

SLERP: sferische interpolatie

SLERP (Spherical Linear Interpolation) interpoleert langs de kortste boog op de eenheidsbol in gewichtsruimte in plaats van langs een rechte lijn. Dit behoudt de norm van de gewichtstensor beter en geeft vloeiendere overgangen. De interpolatieparameter t loopt van 0 (volledig model A) tot 1 (volledig model B). SLERP is de standaardkeuze geworden voor pairwise model merging in de open-source gemeenschap en is geïmplementeerd in tools als mergekit.

TIES en DARE: meerdere modellen samenvoegen

Bij het samenvoegen van meer dan twee modellen komen conflicten voor: gewichten die in tegengestelde richtingen zijn fine-tuned. TIES-merging (Trim, Elect Sign, Disjoint Merge) lost dit op door eerst gewichten te trimmen die weinig zijn veranderd, conflicterende tekens weg te stemmen, en alleen unidirectionele gewichten samen te voegen. DARE (Drop And REscale) randomiseert een deel van de delta’s (het verschil tussen het fine-tuned model en het basismodel) weg en herscaleert de rest, wat interferentie vermindert.

Toepassingen en beperkingen

Model merging is populair in de open-source gemeenschap om snel nieuwe modelvarianten te maken zonder GPU-kosten. Bekende voorbeelden zijn Mistral-gebaseerde merges op Hugging Face. Beperkingen: het werkt alleen voor modellen met identieke architectuur en tokenizer, en bij sterk divergente fine-tuning degradeert kwaliteit. Het is geen vervanging voor gerichte training, maar een efficiente manier om bestaande modellen te combineren.

Terug

Activatiefuncties in LLMs: SwiGLU, GeGLU en waarom ze beter zijn dan ReLU

Expert • Les 28

Activatiefuncties in LLMs: SwiGLU, GeGLU en waarom ze beter zijn dan ReLU

De feed-forward laag in een transformer-blok bevat twee lineaire transformaties met een niet-lineaire activatiefunctie ertussen. Lange tijd was ReLU (Rectified Linear Unit) de standaard. Moderne LLMs — LLaMA, PaLM, Gemini — gebruiken bijna allemaal SwiGLU of GeGLU, varianten die consistent betere perplexity geven bij vergelijkbare parametertellingen.

Van ReLU naar GELU

ReLU is eenvoudig: max(0, x). Negatieve waarden worden op nul gezet, positieve waarden worden doorgelaten. Dit is snel maar heeft twee nadelen: een knik bij nul (niet overal differentieerbaar) en een groot deel van de neuronen dat inactief is (“dying ReLU”). GELU (Gaussian Error Linear Unit) benadert een vloeiendere drempel door de invoer te wegen met de cumulatieve normaalverdeling. BERT en GPT-2 gebruiken GELU, wat betere resultaten gaf dan ReLU.

Gated Linear Units (GLU)

GLU splitst de invoer in twee helften: een contenttak en een gate-tak. De output is het element-gewijs product van de content en een sigmoid van de gate. De sigmoid bepaalt hoeveel van de content wordt doorgelaten. Dit introduceert een multiplicatieve interactie die het netwerk de mogelijkheid geeft te selecteren welke informatie relevant is. Varianten vervangen de sigmoid door andere functies.

SwiGLU en GeGLU

SwiGLU combineert de Swish-activatiefunctie (x * sigmoid(x)) met de GLU-structuur: de gate-tak gebruikt Swish in plaats van sigmoid. GeGLU doet hetzelfde met GELU. Empirisch onderzoek van Noam Shazeer (2020) toonde aan dat SwiGLU en GeGLU consequent betere language modeling perplexity geven dan ReLU- of GELU-varianten bij gelijke parametertellingen. De reden is niet volledig theoretisch verklaard — het is een van de empirische ontdekkingen in het veld. SwiGLU is de standaard geworden in LLaMA, PaLM en latere Gemini-modellen.

Impliciete dimensie-uitbreiding

De GLU-structuur vereist twee lineaire projecties in de feed-forward laag in plaats van één. Om het parameterbudget gelijk te houden wordt de tussenliggende dimensie iets verkleind (typisch van 4d naar 8d/3, waarbij d de modeldimensie is). Dit is een van de subtiele architectuurbeslissingen die zichtbaar zijn als je modelgewichten vergelijkt.

Terug

RLHF reward models: hoe menselijke voorkeuren worden vertaald naar een scorefunctie

Expert • Les 27

RLHF reward models: hoe menselijke voorkeuren worden vertaald naar een scorefunctie

Reinforcement Learning from Human Feedback (RLHF) is de techniek waarmee modellen als ChatGPT en Claude worden afgestemd op menselijke wensen. De spil van dit proces is het reward model: een neuraal netwerk dat leert voorspellen welke output een mens zou prefereren. Zonder een goed reward model is RLHF niet mogelijk.

Vergelijkingsdata verzamelen

Het reward model wordt getraind op pairwise preferences: voor dezelfde prompt worden twee modelresponses aan een menselijke annotator getoond, die aangeeft welke beter is. Dit is makkelijker dan het geven van een absolute score op een schaal van 1-10. Duizenden zulke vergelijkingen vormen de trainingsdataset. De kwaliteit en consistentie van de annotators — en de instructies die ze meekrijgen — zijn bepalend voor de uiteindelijke richting van het model.

Het Bradley-Terry model

Het reward model leert een scalaire score r(prompt, response) te voorspellen. Training gebruikt het Bradley-Terry model als verliesfunctie: de kans dat response A de voorkeur krijgt boven B is proportioneel aan exp(r(A)) / (exp(r(A)) + exp(r(B))). De parameters worden geoptimaliseerd zodat de voorspelde voorkeurskansen overeenkomen met de menselijke vergelijkingen.

Reward hacking en Goodhart’s Law

Zodra het beleid wordt geoptimaliseerd tegen het reward model, treedt reward hacking op: het taalmodel leert outputs te genereren die een hoge score krijgen zonder de onderliggende intentie te vervullen. Lange, bevestigende antwoorden worden soms beloond ongeacht accuraatheid. Goodhart’s Law: zodra een maatstaf een doelstelling wordt, houdt het op een goede maatstaf te zijn. Mitigaties zijn KL-regularisatie (houd het beleid dicht bij het basismodel) en periodieke hertraining van het reward model op nieuwe data.

Constitutional AI en direct preference optimization

Nieuwere benaderingen proberen het reward model te vervangen of te vereenvoudigen. Constitutional AI (Anthropic) laat het model zichzelf evalueren op basis van een stel principes. Direct Preference Optimization (DPO) elimineert de aparte reward-modelstap en optimaliseert direct op de pairwise voorkeursdataset via een gesloten-vorm verliesfunctie. DPO is stabieler en eenvoudiger te implementeren, maar minder flexibel bij dynamische online feedback.

Terug

Pre-training datapipelines: hoe trainingsdata wordt gebouwd en gefilterd

Expert • Les 26

Pre-training datapipelines: hoe trainingsdata wordt gebouwd en gefilterd

“Garbage in, garbage out” geldt nergens zo sterk als bij grote taalmodellen. De datapipeline — van ruwe webcrawl tot schone tokensequenties — heeft een doorslaggevende invloed op modelkwaliteit. Moderne modellen trainen op biljoenen tokens; het bouwen en beheren van die dataset is een ingenieursdiscipline op zich.

Bronnen: van Common Crawl tot curated datasets

De meeste pre-trainingsdata begint bij Common Crawl, een openbare webcrawl van miljarden webpagina’s. Aangevuld met boeken (Books3, Gutenberg), code (GitHub), wetenschappelijke artikelen (ArXiv, PubMed), Wikipedia en discussieforums (Reddit, StackOverflow). Elke bron heeft een ander gewicht: kwalitatieve bronnen als boeken en wetenschappelijke tekst worden over-gesampled ten opzichte van hun aandeel in de ruwe data.

Filtering: kwaliteit boven kwantiteit

Ruwe webcrawldata bevat spam, advertenties, gegenereerde tekst en schadelijke content. Filterstappen omvatten: taalidentificatie (alleen gewenste talen behouden), kwaliteitsfilters op basis van perplexity (tekst die een referentiemodel verwarrend vindt wordt verwijderd), heuristische filters (verwijder pagina’s met veel niet-alfanumerieke karakters of te korte zinnen), en content-filters voor toxische of illegale inhoud. De keuze van filters heeft grote invloed op de uiteindelijke modeleigenschappen.

Deduplicatie: duplicaten schaden generalisatie

Zonder deduplicatie wordt het model getraind op dezelfde tekst tientallen of honderden keren — webpagina’s worden op veel plekken gespiegeld. Deduplicatie op exact niveau (SHA-256 hashing) en fuzzy niveau (MinHash LSH voor bijna-identieke documenten) verwijdert duplicaten. Onderzoek toont aan dat deduplicatie memorisatie vermindert, generalisatie verbetert en het risico op privacylekken verkleint.

Tokenisatie en dataformaat

Na filtering wordt tekst getokeniseerd via een BPE-tokenizer (Byte Pair Encoding) en opgeslagen als compacte integer-arrays. De volgorde van documenten in de trainingsdata doet er toe: shuffling op document- en sequentieniveau voorkomt dat het model tijdelijke patronen leert. Data wordt opgesplitst in vaste contextvensters (bijv. 4096 of 8192 tokens) en opgeslagen in geoptimaliseerde formaten zoals MMapIndexedDataset of webdataset voor snelle parallel I/O tijdens training.

Terug

LayerNorm en RMSNorm: normalisatie in diepe neurale netwerken

Expert • Les 25

LayerNorm en RMSNorm: normalisatie in diepe neurale netwerken

Zonder normalisatie worden activaties in diepe netwerken al snel te groot of te klein, waardoor het trainingsproces instabiel wordt. Normalisatietechnieken zorgen dat activaties in een gezond bereik blijven — een van de cruciale ingrepen die het trainen van modellen met honderden lagen mogelijk maakt.

Batch Normalization: de voorloper

Batch Normalization (2015) normaliseert activaties per feature over de mini-batch: het trekt het gemiddelde van de batch af en deelt door de standaarddeviatie, gevolgd door leerbare schaal- en verschuivingsparameters. Dit werkt uitstekend voor convolutionele netwerken, maar heeft een kritieke zwakte: het gedrag hangt af van de batchgrootte. Bij kleine batches of sequentieverwerking — zoals in transformers — is BatchNorm onbruikbaar.

Layer Normalization: normaliseren per token

LayerNorm normaliseert niet over de batch, maar over de featuredimensie van een enkel voorbeeld. Voor een activatievector x berekent het het gemiddelde en de variantie over alle features van dat ene element, normaliseert, en past leerbare parameters toe. Dit werkt onafhankelijk van batchgrootte en is daardoor de standaard in taalmodellen — van BERT tot GPT. In de originele transformer zat LayerNorm na de aandachtslaag (Post-LN); moderne modellen plaatsen het ervoor (Pre-LN) voor stabielere training bij grote leersnelheden.

RMSNorm: sneller en eenvoudiger

RMSNorm (Root Mean Square Normalization) laat het berekenen van het gemiddelde weg en normaliseert alleen op basis van de RMS-waarde van de activaties. Dit maakt het ongeveer 10-15% sneller dan LayerNorm bij vergelijkbare kwaliteit. LLaMA, Mistral en andere moderne open-source modellen gebruiken RMSNorm standaard. De intuïtie: het gemiddelde van de activaties draagt weinig bij aan stabiliteit — het is de schaal die telt.

Waar normalisatie in de transformer zit

In een typisch transformer-blok wordt RMSNorm of LayerNorm twee keer toegepast: eenmaal voor het self-attention mechanisme en eenmaal voor het feed-forward netwerk. De residual stream — de doorgaande verbinding die blokken omzeilt — wordt genormaliseerd bij binnenkomst van elk blok. Dit Pre-Norm patroon maakt gradiënten stabieler en maakt training met minder learning rate warmup mogelijk.

Terug