Category Archives: AI Leren Expert

AI leermateriaal voor experts

Kennisdistillatie: grote modellen verkleinen

Expert • Les 20

Kennisdistillatie: grote modellen verkleinen

Knowledge distillation (KD) is een techniek om de kennis van een groot teacher-model over te dragen naar een kleiner student-model. Het resulterende student-model presteert beter dan wanneer het direct op gelabelde data zou worden getraind, omdat het leert van de rijke kansverdeling van de teacher.

Soft targets versus hard labels

De kern van KD is het trainen op de soft-probabiliteitsverdeling van de teacher (logits of softmax-output) in plaats van de one-hot ground-truth labels. De soft targets bevatten meer informatie: de teacher zegt niet alleen “dit is een hond” maar ook “dit lijkt iets op een kat” via de relatieve kansen. Dit rijkere leersignaal verbetert de student aanzienlijk.

Response-based versus feature-based distillatie

Response-based KD gebruikt de outputverdeling van de teacher als leerdoel. Feature-based KD leert de student tussenliggende representaties na te bootsen: activaties uit de attention heads, residual stream of feed-forward lagen. TinyBERT gebruikt feature-based distillatie op meerdere lagen tegelijkertijd en bereikt 96% van BERT’s prestaties bij 7,5x kleiner formaat.

Distillatie bij grote taalmodellen

LLM-distillatie combineert KD met RLHF en instructie-tuning. DeepSeek-R1 gebruikt een verrassend effectieve methode: de denkstappen (reasoning traces) van een groot model worden als trainingsdata gebruikt voor een kleiner model. Sommige kleine modellen gebouwd op dit principe presteren boven verwachting dankzij de kwaliteit van de distillatie-data.

Praktische overwegingen

Effectieve KD vereist dat de capaciteitsverschil tussen teacher en student niet te groot is (capacity mismatch). Een temperatuurparameter T regelt de zachtheid van de teacher-distributie: hogere T geeft een vlakkere verdeling met meer informatieve soft targets. Hybride verlies (combinatie van KD-verlies en cross-entropie verlies) geeft doorgaans de beste resultaten.

Terug

Speculative decoding en inferentieversnelling

Expert • Les 19

Speculative decoding en inferentieversnelling

LLM-inferentie is traag omdat tokens sequentieel worden gegenereerd. Speculative decoding is een techniek die de throughput significant verhoogt door de autoregressive generatie slim te paralleliseren, zonder de output-distributie te veranderen.

Het principe

Speculative decoding gebruikt twee modellen: een klein, snel draft-model en het grote target-model. Het draft-model genereert snel een reeks draft-tokens. Het target-model verifieert vervolgens alle draft-tokens in parallel in één forward pass. Tokens die kloppen worden geaccepteerd; het eerste afwijkende token wordt gecorrigeerd en de rest weggegooid. Gemiddeld worden meerdere tokens per forward pass van het target-model gegenereerd.

Snelheidswinst

De winst hangt af van de acceptatiegraadratio. Als het draft-model 4 tokens genereert en gemiddeld 3 worden geaccepteerd, is de effectieve snelheidswinst 3x ten opzichte van serieel decoderen met het grote model. De output-distributie is mathematisch identiek aan die van het grote model alleen (geen kwaliteitsverlies). Gemini gebruikt speculative decoding in productie.

Self-speculative decoding

In sommige architecturen is geen apart draft-model nodig. Early exit-methoden laten de eerste k lagen van het grote model als draft-model fungeren. Medusa voegt meerdere hoofd-projecties toe aan het grote model die parallel meerdere toekomstige tokens voorspellen. Dit vermijdt de overhead van een apart draft-model laden.

Continuous batching en PagedAttention

Speculative decoding combineert goed met continuous batching (vLLM): verzoeken worden dynamisch ingepland op beschikbare compute zonder te wachten tot de volledige batch klaar is. PagedAttention, geïmplementeerd in vLLM, beheert KV-cache als pagineerde virtuele geheugenblokken, waardoor fragmentatie wordt geminimaliseerd en throughput maximaliseert.

Terug

Graph Neural Networks: AI op netwerk-data

Expert • Les 18

Graph Neural Networks: AI op netwerk-data

Veel reele data heeft een graafstructuur: moleculen, sociale netwerken, weginfrastructuur, kennisgrafen. Graph Neural Networks (GNN’s) zijn architecturen die expliciet de topologie van deze grafen benutten om rijke representaties te leren.

Message Passing

Het centrale mechanisme in GNN’s is message passing: elke knoop aggregeert informatie van zijn buren en combineert dit met zijn eigen representatie. Na k rondes message passing bevat de representatie van elke knoop informatie over zijn k-hop buur. Varianten als Graph Convolutional Networks (GCN), Graph Attention Networks (GAT) en GraphSAGE onderscheiden zich in hoe ze aggregatie implementeren.

Toepassingen in molecuulontwerp

AlphaFold 2 en zijn opvolgers gebruiken GNN-achtige componenten om de driedimensionale vouw van eiwitten te voorspellen uit aminozuursequenties. De AtomFormer en andere chemie-AI’s voorspellen moleculaire eigenschappen voor medicijnontwikkeling. GNN’s zijn hier bijzonder geschikt omdat moleculen van nature graafstructuren zijn: atomen zijn knopen, bindingen zijn kanten.

Aanbevelingssystemen

Grote platforms als Pinterest (PinSage), Alibaba en Twitter gebruiken GNN’s voor aanbevelingen door de graafstructuur van gebruiker-item-interacties te benutten. PinSage schaalt GNN-inferentie naar grafen met miljarden knopen via random walks en mini-batch training, wat directe GNN-training op zulke grafen onuitvoerbaar maakt.

Beperkingen: oversmoothing en expressiviteit

Oversmoothing treedt op als te veel message passing-rondes worden gebruikt: alle knoop-representaties convergeren naar elkaar. De expressiviteit van GNN’s is begrensd door de Weisfeiler-Leman-graaf-isomorfismetest: bepaalde graafstructuren zijn niet te onderscheiden door standaard message passing. Hogere-orde GNN’s en geometric deep learning breiden de expressiviteit uit maar zijn computationeel duurder.

Terug

Reinforcement Learning voor robotica en spelomgevingen

Expert • Les 17

Reinforcement Learning voor robotica en spelomgevingen

Reinforcement Learning (RL) is het paradigma waarbij een agent leert door interactie met een omgeving: acties ondernemen, beloningen ontvangen en beleid verbeteren via trial-and-error. Van het meesterlijk spelen van Go tot het aansturen van robotarmen: RL produceert indrukwekkende resultaten in complexe taken.

Model-free versus model-based RL

Model-free RL (Q-learning, PPO, SAC) leert direct een beleid of Q-functie uit ervaring, zonder een expliciete omgevingsmodel. Model-based RL (Dreamer, MuZero) leert een intern model van de omgeving en plant daarmee vooruit. Model-based methoden zijn doorgaans sample-efficiënter maar vereisen een accuraat omgevingsmodel.

Proximal Policy Optimization (PPO)

PPO is de meest gebruikte policy gradient-methode voor praktische RL-toepassingen, inclusief RLHF voor taalmodellen. Het optimaliseert een geknipt surrogate-doelstelling die te grote beleidsveranderingen voorkomt (vandaar “proximal”). PPO balanceert stabiele training met goede sample-efficiëntie en is robuust over hyperparameter-keuzes.

AlphaZero en zelfspel

DeepMind’s AlphaZero leert perfect spelen van schaak, shogi en Go door puur zelfspel zonder menselijke kennis, gecombineerd met Monte Carlo Tree Search en een diep neuraal netwerk. De representatie van de spelstatus wordt volledig geleerd. AlphaZero bereikte superhumane prestaties in alle drie spellen na slechts enkele uren training op gespecialiseerde hardware.

RL voor robotica

RL in de echte wereld is lastiger: sparse beloningen, gevaarlijke exploratie en distributional shift tussen simulatie en realiteit (sim-to-real gap). Domain randomization (het variëren van simulatieparameters) en imitation learning (voor-trainen op menselijke demonstraties) zijn veelgebruikte technieken om de sim-to-real gap te overbruggen.

Terug

Quantisatie: modellen comprimeren voor efficiënte inferentie

Expert • Les 16

Quantisatie: modellen comprimeren voor efficiënte inferentie

Quantisatie is de techniek waarbij modelgewichten worden opgeslagen in een lagere numerieke precisie. Een FP32-gewicht gebruikt 32 bits; een INT8-gewicht slechts 8 bits. Dit resulteert in 4x kleinere modellen en significant snellere inferentie, met beperkt kwaliteitsverlies als het goed wordt uitgevoerd.

Post-Training Quantization (PTQ)

PTQ wordt toegepast na training zonder modelgewichten opnieuw te trainen. GPTQ en AWQ zijn populaire PTQ-methoden voor LLMs. GPTQ gebruikt tweede-orde gradienten om per laag de optimale quantisatieparameters te vinden. AWQ (Activation-aware Weight Quantization) identificeert de belangrijkste gewichten op basis van activatiestatistieken en beschermt die met hogere precisie.

Quantization-Aware Training (QAT)

QAT simuleert quantisatie-effecten tijdens training, zodat het model leert robuust te zijn voor lagere precisie. De trainingsgradiënten worden berekend op FP32 maar de forward-pass gebruikt gesimuleerde lage-precisie gewichten (straight-through estimator). QAT geeft betere kwaliteit dan PTQ maar vereist hertraining.

GGUF en llama.cpp

GGUF is het standaard serialisatieformaat voor gequantiseerde LLMs in het llama.cpp-ecosysteem. Het ondersteunt mixed quantisatie: gevoelige lagen (eerste en laatste) blijven in hogere precisie; middelste lagen worden sterker gequantiseerd. Populaire quantisatieniveaus zijn Q4_K_M (goede balans kwaliteit/grootte), Q5_K_M en Q8_0 (hoge kwaliteit, minder compressie).

KV-cache quantisatie

Naast gewichtenquantisatie kan ook de KV-cache worden gequantiseerd. Bij lange contexten is de KV-cache een significant geheugensverbruiker. INT8-KV-cache quantisatie reduceert dit met 50% met minimaal kwaliteitsverlies. FP8-training (Transformer Engine van NVIDIA) past FP8-precisie toe tijdens training voor snelheidswinst.

Terug

Interpretability: begrijpen wat er in een neuraal netwerk gebeurt

Expert • Les 15

Interpretability: begrijpen wat er in een neuraal netwerk gebeurt

Moderne neurale netwerken zijn black boxes: we weten wat er in gaat en wat er uit komt, maar niet precies wat er tussenin gebeurt. Mechanistic interpretability is het onderzoeksgebied dat probeert deze black box te openen, met implicaties voor AI-veiligheid en -betrouwbaarheid.

Feature-visualisatie en probing

Een van de vroegste methoden is het visualiseren welke invoer een specifiek neuron maximaliseert. In convolutionele netwerken zijn neuronen die reageren op krommen, texturen of zelfs honden-gezichten gevonden. Bij taalmodellen worden probing classifiers getraind op de activaties van tussenliggende lagen om te bepalen welke linguistische informatie (woordsoort, zinsstructuur) is geëncod.

Mechanistic interpretability

Anthropic’s interpretability-team ontwikkelt mechanistic interpretability: het nauwgezet traceren van het informatiecircuit dat een model volgt om een specifieke uitvoer te produceren. Door activatiepatronen te analyseren en gerichte interventies (activation patching) zijn algoritmen geïdentificeerd die modellen intern gebruiken voor taken als indirecte objectidentificatie en modulaire rekenkunde.

Superposition en sparse autoencoders

Neurale netwerken lijken meer concepten te representeren dan ze neuronen hebben, via superposition: meerdere concepten worden coörthogonaaal gecodeerd in de activatieruimte. Sparse autoencoders (SAE’s) kunnen deze superposition decoderen: ze leren een overvolledige basis waarbij elke dimensie correspondeert met een interpreteerbaar feature. Dit is een actief onderzoeksgebied bij Anthropic, DeepMind en EleutherAI.

Waarom interpretability belangrijk is

Interpretability is niet alleen academisch: het is een fundament voor AI-veiligheid. Als we kunnen identificeren welke circuits verantwoordelijk zijn voor ongewenst gedrag, kunnen we gerichter ingrijpen. Tevens maakt interpretability verificatie mogelijk: kun je aantonen dat een model een beslissing baseert op legitieme gronden en niet op biases in de trainingsdata?

Terug

Scaling laws: de wiskunde achter modelgrootte en prestaties

Expert • Les 14

Scaling laws: de wiskunde achter modelgrootte en prestaties

Scaling laws beschrijven kwantitatieve relaties tussen modelgrootte, trainingsdata-omvang, computebudget en modelprestaties. Ze zijn de wetenschappelijke basis voor beslissingen over hoe groot een model te maken en hoelang te trainen.

Kaplan et al. scaling laws (2020)

OpenAI’s originele scaling laws paper (Kaplan et al., 2020) vond dat verlies op taalmodellering een machtswet volgt ten opzichte van modelgrootte, datahoeveelheid en compute: L ~ N^-a, D^-b, C^-c. Cruciaal: de loss verbetert smooth en voorspelbaar over meerdere ordes van grootte. Dit gaf onderzoekers een instrument om te voorspellen hoe groot een model moet zijn voor een gewenste prestatie.

Chinchilla (2022)

DeepMind’s Chinchilla-paper (Hoffmann et al., 2022) corrigeerde de Kaplan scaling laws. Eerdere modellen waren onderbevraagd voor hun grootte: ze hadden minder data gekregen dan optimaal. Chinchilla’s bevinding: voor compute-optimaal trainen moet de dataomvang (in tokens) ruwweg gelijk zijn aan 20x het aantal parameters. GPT-3 (175B parameters, 300B tokens) had dus optimaal 3.5 biljoen tokens moeten zien.

Implicaties voor modelontwerp

Na Chinchilla verschoven trainingsstrategieen: kleinere modellen meer tokens geven. Llama 1 (2023) trainde een 7B-model op 1 biljoen tokens, veel meer dan de Chinchilla-norm voor die grootte. Dit resulteerde in een model dat bij inferentie vergelijkbaar presteerde met GPT-3 bij een fractie van de inferentiekosten.

Grenzen van scaling laws

Scaling laws gelden voor gemiddelde testloss op language modeling. Ze voorspellen niet alle emergente capaciteiten die optreden bij grotere modellen, zoals in-context learning en reasoning. Emergente capaciteiten verschijnen soms abrupt bij bepaalde schaaldrempels, een fenomeen dat slecht wordt verklaard door smooth scaling laws.

Terug

Distributed training: data- en modelparallelisme

Expert • Les 13

Distributed training: data- en modelparallelisme

Het trainen van een modern foundation model vereist duizenden GPU’s die wekenlang samenwerken. De coördinatie van deze berekeningen is een vakgebied op zich. Drie fundamentele parallelisme-strategieen worden gecombineerd voor maximale efficiëntie.

Data-parallelisme

Bij data-parallelisme krijgt elke GPU een kopie van het volledige model maar verwerkt een ander deel van de batch. Na elke forward-backward pass worden gradienten gesynchroniseerd via AllReduce-operaties (typisch met NCCL of Gloo). Data-parallelisme schaalt goed maar vereist dat het volledige model in het GPU-geheugen past. ZeRO (Zero Redundancy Optimizer) van DeepSpeed reduceert redundantie door optimizerstate, gradienten en parameters over GPU’s te verdelen.

Tensor-parallelisme

Bij tensor-parallelisme worden individuele gewichtenmatrices opgesplitst over meerdere GPU’s. Elke GPU voert een deel van de matrixvermenigvuldiging uit; daarna worden de resultaten gecombineerd. Megatron-LM van NVIDIA implementeert tensor-parallelisme voor transformer-lagen. Dit vereist hoge bandbreedte tussen GPU’s (NVLink of InfiniBand).

Pipeline-parallelisme

Pipeline-parallelisme verdeelt de modellagen over GPU’s: GPU 1 berekent lagen 1-8, GPU 2 berekent lagen 9-16, enzovoort. Het nadeel is de pipeline-bubble: GPU’s zijn idle tijdens forward/backward-passes van andere GPU’s. GPipe en PipeDream zijn methoden die deze bubble minimaliseren via micro-batch scheduling.

3D-parallelisme

State-of-the-art training combineert alle drie: data-, tensor- en pipeline-parallelisme. Dit wordt 3D-parallelisme (of 4D met sequentieparallelisme) genoemd. De optimale configuratie hangt af van de modelarchitectuur, GPU-interconnect en batch size. Frameworks als Megatron-DeepSpeed automatiseren delen van deze configuratie.

Terug

Continual learning en catastrophic forgetting

Expert • Les 12

Continual learning en catastrophic forgetting

Een van de fundamentele uitdagingen van neurale netwerken is catastrophic forgetting: wanneer een model wordt bijgetraind op nieuwe data, overschrijft het de gewichten die verantwoordelijk waren voor eerder geleerde kennis. Dit maakt continual learning, het geleidelijk bijwerken van modellen, technisch complex.

Waarom catastrophic forgetting optreedt

Gradient descent optimaliseert voor de huidige trainingsdistributie. De gewichten die cruciaal waren voor taak A worden aangepast voor taak B zonder rekening te houden met hun belang voor A. Bij grote modellen en voldoende data-diversiteit is het effect minder uitgesproken, maar bij sequentiële fine-tuning op smalle taken is het een serieus probleem.

Mitigatiestrategieën

Elastic Weight Consolidation (EWC) berekent de Fisher-informatiematrix om te identificeren welke gewichten belangrijk zijn voor eerdere taken en voegt een regularisatieterm toe die die gewichten beschermt. Progressive Neural Networks voegen nieuwe kolommen toe voor elke nieuwe taak en bevriezen eerdere kolommen. Replay-methoden mengen oude trainingsdata met nieuwe om de eerdere distributie te herinneren.

Parameter-efficient fine-tuning als oplossing

LoRA en aanverwante PEFT-methoden zijn deels een antwoord op catastrophic forgetting: door alleen adapter-gewichten te trainen en de basismodelgewichten te bevriezen, blijft de originele kennis intact. Dit is ook waarom LoRA populair is voor domein-specifieke fine-tuning: het model leert nieuwe taken zonder de brede pre-trainingskennis te overschrijven.

Continual learning in productie

In productiesystemen wordt catastrophic forgetting typisch omzeild door periodieke volledige hertraining op gecombineerde datasets (inclusief historische data), evaluatie op holdout-sets van eerdere taken, en versie-beheer van modelgewichten. Online learning (continue bijwerking op nieuwe data) is zeldzaam bij grote modellen vanwege de complexiteit van stabiele optimalisatie.

Terug

On-device AI: Apple Silicon en NPU-architecturen

Expert • Les 11

On-device AI: Apple Silicon en NPU-architecturen

Inferentie in de cloud is duur, latency-gevoelig en vereist een internetverbinding. On-device AI voert modellen lokaal uit op gespecialiseerde hardware. Apple Silicon, Qualcomm Snapdragon en Google Tensor zijn de leidende platforms voor edge-inferentie.

Neural Processing Units (NPU)

Een NPU is een processor geoptimaliseerd voor de matrix-vermenigvuldigingen die ten grondslag liggen aan neurale netwerken. Anders dan een GPU is een NPU specifiek ontworpen voor lage-precisie inferentie (INT4, INT8, FP16) met maximale energie-efficiëntie. Apple’s Neural Engine in de M-serie chips voert tot 38 TOPS (trillion operations per second) uit bij uiterst laag energieverbruik.

Unified Memory Architecture

Apple Silicon’s onderscheidende kenmerk is unified memory: CPU, GPU en Neural Engine delen dezelfde geheugenpool zonder kopieeroperaties. Dit maakt het mogelijk modellen van 7-13 miljard parameters te draaien op een MacBook die bij reguliere discrete GPU’s veel meer VRAM vereist. LLM-inferentie op Apple Silicon is hierdoor praktisch haalbaar voor consumenterhardware.

Quantisatie voor edge-deployment

Modellen moeten worden gequantiseerd voor efficiënte on-device inferentie. 4-bit quantisatie (GGUF-formaat via llama.cpp) reduceert een 7B-model van 14 GB naar circa 4 GB met beperkt kwaliteitsverlies. Apple’s CoreML-framework en Google’s LiteRT (voorheen TFLite) bieden geoptimaliseerde runtimes voor respectievelijk iOS/macOS en Android/Pixel.

Privacy-voordelen

On-device inferentie stuurt geen data naar externe servers, wat het aantrekkelijk maakt voor privacy-gevoelige toepassingen. Apple Intelligence verwerkt de meeste taken lokaal op het apparaat; alleen complexe aanvragen worden doorgestuurd naar Private Cloud Compute met cryptografische garanties over dataverwerking. Dit patroon van edge-first met cloud-fallback wordt steeds gangbaarder.

Terug