Author Archives: admin

Scaling laws: de wiskunde achter modelgrootte en prestaties

Expert • Les 14

Scaling laws: de wiskunde achter modelgrootte en prestaties

Scaling laws beschrijven kwantitatieve relaties tussen modelgrootte, trainingsdata-omvang, computebudget en modelprestaties. Ze zijn de wetenschappelijke basis voor beslissingen over hoe groot een model te maken en hoelang te trainen.

Kaplan et al. scaling laws (2020)

OpenAI’s originele scaling laws paper (Kaplan et al., 2020) vond dat verlies op taalmodellering een machtswet volgt ten opzichte van modelgrootte, datahoeveelheid en compute: L ~ N^-a, D^-b, C^-c. Cruciaal: de loss verbetert smooth en voorspelbaar over meerdere ordes van grootte. Dit gaf onderzoekers een instrument om te voorspellen hoe groot een model moet zijn voor een gewenste prestatie.

Chinchilla (2022)

DeepMind’s Chinchilla-paper (Hoffmann et al., 2022) corrigeerde de Kaplan scaling laws. Eerdere modellen waren onderbevraagd voor hun grootte: ze hadden minder data gekregen dan optimaal. Chinchilla’s bevinding: voor compute-optimaal trainen moet de dataomvang (in tokens) ruwweg gelijk zijn aan 20x het aantal parameters. GPT-3 (175B parameters, 300B tokens) had dus optimaal 3.5 biljoen tokens moeten zien.

Implicaties voor modelontwerp

Na Chinchilla verschoven trainingsstrategieen: kleinere modellen meer tokens geven. Llama 1 (2023) trainde een 7B-model op 1 biljoen tokens, veel meer dan de Chinchilla-norm voor die grootte. Dit resulteerde in een model dat bij inferentie vergelijkbaar presteerde met GPT-3 bij een fractie van de inferentiekosten.

Grenzen van scaling laws

Scaling laws gelden voor gemiddelde testloss op language modeling. Ze voorspellen niet alle emergente capaciteiten die optreden bij grotere modellen, zoals in-context learning en reasoning. Emergente capaciteiten verschijnen soms abrupt bij bepaalde schaaldrempels, een fenomeen dat slecht wordt verklaard door smooth scaling laws.

Terug

Distributed training: data- en modelparallelisme

Expert • Les 13

Distributed training: data- en modelparallelisme

Het trainen van een modern foundation model vereist duizenden GPU’s die wekenlang samenwerken. De coördinatie van deze berekeningen is een vakgebied op zich. Drie fundamentele parallelisme-strategieen worden gecombineerd voor maximale efficiëntie.

Data-parallelisme

Bij data-parallelisme krijgt elke GPU een kopie van het volledige model maar verwerkt een ander deel van de batch. Na elke forward-backward pass worden gradienten gesynchroniseerd via AllReduce-operaties (typisch met NCCL of Gloo). Data-parallelisme schaalt goed maar vereist dat het volledige model in het GPU-geheugen past. ZeRO (Zero Redundancy Optimizer) van DeepSpeed reduceert redundantie door optimizerstate, gradienten en parameters over GPU’s te verdelen.

Tensor-parallelisme

Bij tensor-parallelisme worden individuele gewichtenmatrices opgesplitst over meerdere GPU’s. Elke GPU voert een deel van de matrixvermenigvuldiging uit; daarna worden de resultaten gecombineerd. Megatron-LM van NVIDIA implementeert tensor-parallelisme voor transformer-lagen. Dit vereist hoge bandbreedte tussen GPU’s (NVLink of InfiniBand).

Pipeline-parallelisme

Pipeline-parallelisme verdeelt de modellagen over GPU’s: GPU 1 berekent lagen 1-8, GPU 2 berekent lagen 9-16, enzovoort. Het nadeel is de pipeline-bubble: GPU’s zijn idle tijdens forward/backward-passes van andere GPU’s. GPipe en PipeDream zijn methoden die deze bubble minimaliseren via micro-batch scheduling.

3D-parallelisme

State-of-the-art training combineert alle drie: data-, tensor- en pipeline-parallelisme. Dit wordt 3D-parallelisme (of 4D met sequentieparallelisme) genoemd. De optimale configuratie hangt af van de modelarchitectuur, GPU-interconnect en batch size. Frameworks als Megatron-DeepSpeed automatiseren delen van deze configuratie.

Terug

Continual learning en catastrophic forgetting

Expert • Les 12

Continual learning en catastrophic forgetting

Een van de fundamentele uitdagingen van neurale netwerken is catastrophic forgetting: wanneer een model wordt bijgetraind op nieuwe data, overschrijft het de gewichten die verantwoordelijk waren voor eerder geleerde kennis. Dit maakt continual learning, het geleidelijk bijwerken van modellen, technisch complex.

Waarom catastrophic forgetting optreedt

Gradient descent optimaliseert voor de huidige trainingsdistributie. De gewichten die cruciaal waren voor taak A worden aangepast voor taak B zonder rekening te houden met hun belang voor A. Bij grote modellen en voldoende data-diversiteit is het effect minder uitgesproken, maar bij sequentiële fine-tuning op smalle taken is het een serieus probleem.

Mitigatiestrategieën

Elastic Weight Consolidation (EWC) berekent de Fisher-informatiematrix om te identificeren welke gewichten belangrijk zijn voor eerdere taken en voegt een regularisatieterm toe die die gewichten beschermt. Progressive Neural Networks voegen nieuwe kolommen toe voor elke nieuwe taak en bevriezen eerdere kolommen. Replay-methoden mengen oude trainingsdata met nieuwe om de eerdere distributie te herinneren.

Parameter-efficient fine-tuning als oplossing

LoRA en aanverwante PEFT-methoden zijn deels een antwoord op catastrophic forgetting: door alleen adapter-gewichten te trainen en de basismodelgewichten te bevriezen, blijft de originele kennis intact. Dit is ook waarom LoRA populair is voor domein-specifieke fine-tuning: het model leert nieuwe taken zonder de brede pre-trainingskennis te overschrijven.

Continual learning in productie

In productiesystemen wordt catastrophic forgetting typisch omzeild door periodieke volledige hertraining op gecombineerde datasets (inclusief historische data), evaluatie op holdout-sets van eerdere taken, en versie-beheer van modelgewichten. Online learning (continue bijwerking op nieuwe data) is zeldzaam bij grote modellen vanwege de complexiteit van stabiele optimalisatie.

Terug

On-device AI: Apple Silicon en NPU-architecturen

Expert • Les 11

On-device AI: Apple Silicon en NPU-architecturen

Inferentie in de cloud is duur, latency-gevoelig en vereist een internetverbinding. On-device AI voert modellen lokaal uit op gespecialiseerde hardware. Apple Silicon, Qualcomm Snapdragon en Google Tensor zijn de leidende platforms voor edge-inferentie.

Neural Processing Units (NPU)

Een NPU is een processor geoptimaliseerd voor de matrix-vermenigvuldigingen die ten grondslag liggen aan neurale netwerken. Anders dan een GPU is een NPU specifiek ontworpen voor lage-precisie inferentie (INT4, INT8, FP16) met maximale energie-efficiëntie. Apple’s Neural Engine in de M-serie chips voert tot 38 TOPS (trillion operations per second) uit bij uiterst laag energieverbruik.

Unified Memory Architecture

Apple Silicon’s onderscheidende kenmerk is unified memory: CPU, GPU en Neural Engine delen dezelfde geheugenpool zonder kopieeroperaties. Dit maakt het mogelijk modellen van 7-13 miljard parameters te draaien op een MacBook die bij reguliere discrete GPU’s veel meer VRAM vereist. LLM-inferentie op Apple Silicon is hierdoor praktisch haalbaar voor consumenterhardware.

Quantisatie voor edge-deployment

Modellen moeten worden gequantiseerd voor efficiënte on-device inferentie. 4-bit quantisatie (GGUF-formaat via llama.cpp) reduceert een 7B-model van 14 GB naar circa 4 GB met beperkt kwaliteitsverlies. Apple’s CoreML-framework en Google’s LiteRT (voorheen TFLite) bieden geoptimaliseerde runtimes voor respectievelijk iOS/macOS en Android/Pixel.

Privacy-voordelen

On-device inferentie stuurt geen data naar externe servers, wat het aantrekkelijk maakt voor privacy-gevoelige toepassingen. Apple Intelligence verwerkt de meeste taken lokaal op het apparaat; alleen complexe aanvragen worden doorgestuurd naar Private Cloud Compute met cryptografische garanties over dataverwerking. Dit patroon van edge-first met cloud-fallback wordt steeds gangbaarder.

Terug

Synthetic data: trainingsdata genereren met AI

Expert • Les 10

Synthetic data: trainingsdata genereren met AI

Gelabelde trainingsdata is duur en schaars. Synthetic data, gegenereerd door AI of simulaties, biedt een schaalbare oplossing voor domein-specifieke fine-tuning, data augmentatie en privacy-bewust trainen. De kwaliteitscontrole is cruciaal.

Methoden voor tekst-synthese

Voor taalmodeltraining wordt synthetische data gegenereerd via een sterkere teacher-model dat vraag-antwoordparen, instructieparen of redeneerketens produceert. Phi-1 en Phi-2 zijn getraind op kwalitatief hoogwaardige synthetische code en tekst (“textbook-quality”), met indrukwekkende resultaten voor modelgrootte. Self-instruct is een methode waarbij een model instructiedata genereert op basis van een kleine seed-set.

Data augmentatie

Data augmentatie vult echte data aan met variaties: parafraseren (zelfde betekenis, andere formulering), backtranslatie (vertaal naar andere taal en terug), counterfactual augmentation (kleine feitelijke wijzigingen om robustheid te trainen). Bij beeldmodellen zijn rotatie, bijsnijden en kleurwijziging standaard; voor tekst is augmentatie subtieler en vereist semantische verificatie.

Kwaliteitscontrole en model collapse

Model collapse is het fenomeen waarbij een model getraind op zijn eigen output steeds generischer wordt en de diversiteit van echte data verliest. Preventie vereist: menging van synthetische en echte data, diversiteitsmetriken bijhouden, en validatie door een apart beoordelingsmodel of menselijke annotators. Filter-pipelines (zoals perplexiteitsfiltering) verwijderen lage-kwaliteit gegenereerde samples.

Privacy-toepassingen

Synthetische data kan medische of financiële trainingsdata vervangen waarbij privacygevoelige echte data niet gebruikt mag worden. Differential privacy-technieken gecombineerd met synthetische generatie bieden formele privacygaranties. Evalueer altijd of de synthetische distributie de echte distributie voldoende approximeert voor de doeltoepassing.

Terug

EU AI Act en GDPR: compliance voor AI-systemen

Expert • Les 9

EU AI Act en GDPR: compliance voor AI-systemen

De EU AI Act (2024) is de eerste uitgebreide AI-regulering ter wereld. Gecombineerd met bestaande GDPR-vereisten legt het significante verplichtingen op aan aanbieders en gebruikers van AI in de EU. Compliance vereist begrip van beide regimes.

Risicoklassen in de AI Act

De AI Act deelt AI-systemen in vier risicoklassen: verboden (social scoring door overheden, manipulatieve systemen), hoog risico (kritische infrastructuur, biometrische identificatie, beslissingsondersteuning bij sollicitaties en krediet), beperkt risico (deepfakes, chatbots: transparantievereisten) en minimaal risico (spamfilters, games). High-risk systemen vereisen conformiteitsbeoordelingen, risicomanagementsystemen en technische documentatie.

GPAI en foundation models

General Purpose AI (GPAI) modellen zoals GPT-4 en Claude vallen onder specifieke verplichtingen: technische documentatie, auteursrechtbeleid, energieverbruikrapportage. GPAI-modellen met systeemrisico (boven een compute-drempel van 10^25 FLOP) hebben aanvullende verplichtingen waaronder adversarial testing en incident reporting aan de EU AI Office.

GDPR-interactie

Wanneer AI persoonsgegevens verwerkt, gelden GDPR-vereisten: rechtmatige verwerkingsgrondslag, doelbinding, dataminimalisatie en rechten van betrokkenen (inzage, rectificatie, verwijdering). Bij geautomatiseerde besluiten met rechtsgevolgen geldt artikel 22 GDPR: betrokkenen hebben recht op menselijke tussenkomst en uitleg. AI-systemen die GDPR schenden kunnen boetes tot 4% van wereldwijde omzet krijgen.

Praktische compliance

Voer een AI-risicoklassificatie uit voor elk systeem. Documenteer trainingsdata, modelarchitectuur en testresultaten. Implementeer logging voor traceerbaarheid. Aanwijs een verantwoordelijke voor AI-governance. Voor high-risk systemen: registreer in de EU AI-database en voer regelmatig audits uit. Stel een incident response plan op voor AI-gerelateerde fouten.

Terug

Sparse attention: efficiënte transformers op schaal

Expert • Les 8

Sparse attention: efficiënte transformers op schaal

De standaard self-attention in transformers heeft een rekencomplexiteit van O(n²) ten opzichte van de sequentielengte n. Voor lange contexten van 100k+ tokens wordt dit onbeheersbaar. Sparse attention-methoden reduceren deze complexiteit door niet elk token met elk ander token te laten interageren.

Flash Attention

Flash Attention is geen sparse methode maar een IO-geoptimaliseerde implementatie van standaard attention die de GPU-bandbreedte efficiënt benut door het attention-patroon te berekenen in tiles die in SRAM passen. Flash Attention 2 en 3 zijn de defacto standaard voor efficiënte attention in moderne frameworks. Ze zijn exact (niet approximate) maar significant sneller door betere geheugentoegang.

Sliding window attention

Sliding window attention laat elk token alleen interageren met de w dichtstbijzijnde tokens in plaats van alle tokens. Dit geeft O(n*w) complexiteit. Mistral gebruikt sliding window attention gecombineerd met rolling buffer KV-cache. Het nadeel is dat informatie over lange afstanden minder direct wordt doorgegeven.

Grouped Query Attention (GQA)

GQA reduceert de KV-cache grootte door meerdere query heads te laten delen van dezelfde sleutel- en waarde-projecties. Llama 3 en Mistral gebruiken GQA: in plaats van n_heads K en V matrices zijn er slechts n_kv_groups, typisch 4 tot 8. Dit verlaagt het geheugenverbruik tijdens inference significant zonder grote kwaliteitsimpact.

Linear attention en alternatieven

Linear attention-methoden zoals Performer en RWKV benaderen of vervangen de softmax-attention door een lineaire kernelfunctie, waarmee O(n) complexiteit haalbaar is. Deze benaderingen zijn veelbelovend maar presteren in de praktijk nog altijd iets minder dan standaard attention op taalmodelleringtaken.

Terug

Mixture of Experts (MoE): schaalbare modelarchitectuur

Expert • Les 7

Mixture of Experts (MoE): schaalbare modelarchitectuur

Mixture of Experts is een architectuurparadigma waarbij een model bestaat uit meerdere gespecialiseerde subnetwerken (experts), waarvan slechts een subset actief is per token. Dit maakt het mogelijk modellen te schalen zonder evenredige toename in rekenkosten.

Architectuur

In een transformer-gebaseerd MoE-model wordt de feed-forward laag vervangen door N experts (typisch 8-128) plus een router. De router is een klein neuraal netwerk dat per token bepaalt welke top-k experts worden geactiveerd (gewoonlijk k=1 of k=2). Alleen de geactiveerde experts voeren de berekening uit; de overige parameters blijven inactief.

Load balancing

Een kritiek probleem bij MoE is expert collapse: de router leert snel dat enkele experts consistent beter presteren en stuurt vrijwel alle tokens naar die experts, terwijl de rest ongebruikt blijft. Oplossingen zijn auxiliary loss terms die een uniforme verdeling stimuleren (zoals in Switch Transformer) en noise-based load balancing.

Sparse versus dense

Een dense MoE activeert alle experts voor alle tokens (niet efficiënt). Sparse MoE activeert slechts k van N experts. Mixtral 8x7B heeft 8 experts per laag met k=2: elke token activeert effectief 2 van de 8 experts, waardoor het model 47 miljard parameters heeft maar slechts 13 miljard actief per token. Dit geeft de prestaties van een 47B-model bij de rekenkosten van een 13B-model.

Implementatie-uitdagingen

MoE-modellen zijn moeilijker te serven: alle expertgewichten moeten in geheugen staan ook al zijn ze niet actief. Bij gedistribueerde inference vereist expert parallelism zorgvuldige communicatie tussen nodes. Token dropping (wanneer een expert vol zit en tokens overslaat) is een subtiel correctheidsprobleem dat zorgvuldig moet worden beheerd.

Terug

AI-productie deployen: van prototype naar productie

Gevorderd • Les 24

AI-productie deployen: van prototype naar productie

Een AI-prototype dat goed werkt op je laptop is heel wat anders dan een betrouwbare productiesysteem. De stap naar productie omvat latency, kosten, monitoring, fallbacks en veiligheid. Dit is waar veel AI-projecten vastlopen.

Latency en streaming

Taalmodellen zijn traag vergeleken met traditionele API’s. Streaming (het token voor token sturen van de output) verbetert de perceived latency sterk: de gebruiker ziet iets zodra het eerste token binnenkomt. Gebruik streaming bij interactieve toepassingen. Voor batchverwerking is streaming minder relevant.

Kosten beheren

API-kosten schalen lineair met tokenverbruik. Bereken je gemiddelde tokens per aanroep en project dit op het verwachte volume. Caching van veelgestelde vragen en hun antwoorden bespaart kosten. Kies het kleinste model dat voldoet aan de kwaliteitseisen: een klein model voor classificatietaken, een groot model alleen waar nodig.

Monitoring en observability

Log elke AI-aanroep: invoer, uitvoer, tokens, latency en fouten. Dit is essentieel voor debugging, kostenbeheersing en kwaliteitsbewaking. Tools als LangSmith, Braintrust en Langfuse bieden uitgebreide observability voor LLM-applicaties. Stel alerts in op onverwachte kostenpieken of foutpercentages.

Fallbacks en graceful degradation

AI-API’s kunnen traag of onbeschikbaar zijn. Bouw altijd fallbacks in: een eenvoudigere fallback-aanroep, een cached antwoord, of een duidelijke foutmelding. Rate limits zijn een veelvoorkomend probleem bij hoog volume; implementeer exponential backoff en retries. Test je applicatie op wat er gebeurt als de AI-API 30 seconden niet reageert.

Terug

Diffusiemodellen: hoe AI-beelden worden gegenereerd

Gevorderd • Les 23

Diffusiemodellen: hoe AI-beelden worden gegenereerd

Achter Stable Diffusion, DALL-E en Midjourney schuilt een elegante wiskundige truc: het model leert hoe het ruis kan omzetten naar betekenisvolle beelden. Dit principe, diffusie, is fundamenteel anders dan hoe taalmodellen tekst genereren.

Het forward-process: ruis toevoegen

Tijdens training worden echte afbeeldingen stap voor stap verpest door willekeurige ruis toe te voegen, totdat er alleen maar sneeuw over is. Het model leert bij elke stap hoe het de toegevoegde ruis eruit kan filteren. Dit is het forward-diffusion-process: afbeelding naar ruis.

Het reverse-process: ruis verwijderen

Bij gebruik draait het model dit proces om. Het begint met pure willekeurige ruis en verwijdert stap voor stap ruis, geleid door de tekstprompt via een tekst-encoder (meestal CLIP). Na tientallen tot honderden stappen ontstaat een coherent beeld dat overeenkomt met de beschrijving.

Latent diffusion

Originele diffusiemodellen werkten direct op pixelniveau, wat enorm veel geheugen en rekenkracht vergde. Latent diffusion models (zoals Stable Diffusion) werken in een gecomprimeerde latente ruimte. Een variational autoencoder (VAE) comprimeert de afbeelding naar een kleine representatie, diffusie vindt daar plaats, en de VAE decodeert het resultaat terug naar pixels.

ControlNet en guided generation

ControlNet maakt het mogelijk om naast tekst ook structurele informatie mee te geven: een schets, dieptekaart of pose. Dit geeft creators veel meer controle over de compositie van gegenereerde beelden. LoRA (Low-Rank Adaptation) laat toe om met weinig trainingsdata een stijl of persoon in het model te integreren.

Terug