Expert • Les 5

AI-infrastructuur: training, inference en schalen

Grote AI-modellen vereisen enorme computationele infrastructuur. Inzicht in die infrastructuur is essentieel voor iedereen die AI op schaal wil inzetten.

Training versus inference

Training is het eenmalige (of periodieke) proces waarbij het model zijn gewichten leert. Inference is het gebruik van het getrainde model voor productie. Training is extreem compute-intensief; inference is het grootst in volume en kosten bij schaal.

GPU-architecturen

NVIDIA H100- en A100-GPU-kaarten zijn de standaard voor AI-training. Ze zijn ontworpen voor matrixvermenigvuldigingen, de kernoperatie in neurale netwerken. Google heeft zijn eigen TPU (Tensor Processing Unit) die geoptimaliseerd is voor TensorFlow en JAX. AMD MI300X is een opkomende concurrent.

Quantisatie en compressie

Quantisatie reduceert de precisie van modelgewichten van 32-bit float naar 8-bit of 4-bit integers. Dit maakt modellen 4 tot 8 keer kleiner met beperkt kwaliteitsverlies. llama.cpp en GGUF-formaat maken het mogelijk grote modellen lokaal te draaien op consumenterhardware.

Inference-optimalisatie

Technieken als KV-caching, speculative decoding en continuous batching verbeteren de throughput en verlagen de latentie bij inference. vLLM is een populaire open-source inference-engine die deze technieken combineert.