Author Archives: admin

AI-infrastructuur: training, inference en schalen

Expert • Les 5

AI-infrastructuur: training, inference en schalen

Grote AI-modellen vereisen enorme computationele infrastructuur. Inzicht in die infrastructuur is essentieel voor iedereen die AI op schaal wil inzetten.

Training versus inference

Training is het eenmalige (of periodieke) proces waarbij het model zijn gewichten leert. Inference is het gebruik van het getrainde model voor productie. Training is extreem compute-intensief; inference is het grootst in volume en kosten bij schaal.

GPU-architecturen

NVIDIA H100- en A100-GPU-kaarten zijn de standaard voor AI-training. Ze zijn ontworpen voor matrixvermenigvuldigingen, de kernoperatie in neurale netwerken. Google heeft zijn eigen TPU (Tensor Processing Unit) die geoptimaliseerd is voor TensorFlow en JAX. AMD MI300X is een opkomende concurrent.

Quantisatie en compressie

Quantisatie reduceert de precisie van modelgewichten van 32-bit float naar 8-bit of 4-bit integers. Dit maakt modellen 4 tot 8 keer kleiner met beperkt kwaliteitsverlies. llama.cpp en GGUF-formaat maken het mogelijk grote modellen lokaal te draaien op consumenterhardware.

Inference-optimalisatie

Technieken als KV-caching, speculative decoding en continuous batching verbeteren de throughput en verlagen de latentie bij inference. vLLM is een populaire open-source inference-engine die deze technieken combineert.

Terug

Multimodale AI: meer dan tekst

Expert • Les 4

Multimodale AI: meer dan tekst

De nieuwste generatie AI-modellen is niet beperkt tot tekst. Ze verwerken afbeeldingen, audio, video en code binnen dezelfde architectuur. Dit heet multimodaliteit.

Vision encoders

Om afbeeldingen te begrijpen, wordt een afbeelding opgesplitst in patches en gecodeerd door een vision encoder (vaak gebaseerd op Vision Transformer, ViT). Die representatie wordt vervolgens gecombineerd met de tekstrepresentatie in het taalmodel.

Modellen die multimodaal zijn

GPT-4o, Claude 3 en Gemini 1.5 Pro verwerken tekst en afbeeldingen. Gemini 1.5 Pro verwerkt ook video en audio. Whisper (OpenAI) is gespecialiseerd in spraak-naar-tekst. Sora (OpenAI) en Veo (Google) genereren video op basis van tekst.

Uitdagingen

Multimodale modellen kunnen hallusineren over afbeeldingen: tekst lezen die er niet staat, objecten missen of relaties verkeerd interpreteren. Evaluatie van visuele begrip is moeilijker dan tekstuele evaluatie vanwege de hogere diversiteit aan invoer.

Toepassingen

Multimodale AI maakt mogelijk: automatische inspectie van productfotos, toegankelijkheidssoftware die afbeeldingen beschrijft voor slechtzienden, medische beeldanalyse, documentverwerking met tabellen en diagrammen, en interactieve productdesigntools.

Terug

AI-veiligheid en alignment: het grote probleem

Expert • Les 3

AI-veiligheid en alignment: het grote probleem

Naarmate AI-systemen krachtiger worden, wordt de vraag urgenter: hoe zorgen we dat ze handelen in lijn met menselijke waarden en bedoelingen? Dit is het alignment-probleem.

Wat is misalignment?

Misalignment treedt op als een AI-systeem een doel nastreeft op een manier die niet overeenkomt met wat de ontwerpers bedoelden. Een klassiek voorbeeld: een AI die is opgedragen paperclips te maximaliseren, zet in theorie alle beschikbare materie om naar paperclips. Dit heet een instrumental convergence probleem.

Constitutional AI

Anthropic ontwikkelde Constitutional AI (CAI): een methode waarbij het model zichzelf beoordeelt aan de hand van een set principes (een constitutie). Dit vermindert de noodzaak van menselijke feedback voor elke edge case en maakt het alignment-proces transparanter en schaalbaar.

Interpretability

Mechanistic interpretability onderzoekt wat er intern in een neuraal netwerk gebeurt. Circuits, features en superposition zijn centrale begrippen. Het doel: begrijpen waarom een model iets produceert, niet alleen wat. Anthropic, DeepMind en academische groepen publiceren hier actief onderzoek over.

Existentiele risicos

Organisaties als het Center for AI Safety en Anthropic zelf waarschuwen dat zeer krachtige toekomstige AI existentiele risicos kan inhouden als alignment niet is opgelost. Dit is controversieel: andere onderzoekers achten nabijetermijn schade (bias, fraude, deepfakes) urgenter. Beide zijn legitieme zorgen.

Terug

AI-evaluatie: hoe meet je de kwaliteit van een model?

Expert • Les 2

AI-evaluatie: hoe meet je de kwaliteit van een model?

Een model bouwen is een deel van het werk. Het evalueren ervan is minstens zo belangrijk: hoe weet je of het goed genoeg is voor productie?

Automatische benchmarks

Benchmarks zoals MMLU (kennis), HumanEval (code), GSM8K (wiskunde) en HELM vergelijken modellen op gestandaardiseerde taken. Ze geven een snelle vergelijking maar meten niet altijd wat er in productie toe doet.

Task-specifieke evals

Beter is het opstellen van evaluaties die direct meten op jouw specifieke use case. Maak een testset van input-output-paren die representatief zijn voor de echte toepassing. Automatiseer de beoordeling via een LLM-as-judge of exacte matching waar mogelijk.

Human evaluation

Voor subtiele kwaliteitsaspecten zoals tone, coherentie en nuance is menselijke beoordeling nodig. Gebruik pairwise ranking: presenteer beoordelaars twee outputs en vraag welke beter is. Dit is betrouwbaarder dan absolute scores.

Red-teaming

Red-teaming is het systematisch proberen een model te laten falen: onjuiste informatie produceren, veiligheidsfilters omzeilen, of inconsistent gedrag vertonen. Professionele AI-teams doen dit voor elke release. Automatische red-teaming tools genereren aanvalsprompts op schaal.

Terug

Fine-tuning: een model trainen op je eigen data

Expert • Les 1

Fine-tuning: een model trainen op je eigen data

Fine-tuning is het verder trainen van een pre-trained model op een specifieke dataset. Het resultaat is een model dat betere prestaties levert op die specifieke taak, stijl of domein.

Wanneer kies je voor fine-tuning?

Fine-tuning is zinvol als je een consistente tone-of-voice nodig hebt (bijv. klantenservice), een specifiek outputformaat altijd correct moet zijn (bijv. JSON-structuren), of als je werkt met domeinspecifieke terminologie die het basismodel niet goed beheerst. Het is geen oplossing voor het ontbreken van actuele kennis: gebruik dan RAG.

Supervised fine-tuning (SFT)

De meest gebruikte methode: je levert paren van input en gewenste output. Het model leert die mapping na te bootsen. Datakwaliteit is bepalend: 500 perfecte voorbeelden zijn beter dan 10.000 middelmatige.

RLHF en RLAIF

Reinforcement Learning from Human Feedback (RLHF) is hoe modellen zoals ChatGPT en Claude zijn getraind om behulpzaam en veilig te zijn. Menselijke beoordelaars rangschikken uitvoer. Een reward model leert die voorkeuren. Daarna wordt het taalmodel geoptimaliseerd via reinforcement learning. RLAIF vervangt menselijke feedback door AI-feedback, wat goedkoper en schaalbaar is.

Parameter-efficient fine-tuning

LoRA (Low-Rank Adaptation) en QLoRA zijn populaire technieken die slechts een fractie van de modelparameters aanpassen. Dit is veel goedkoper dan volledige fine-tuning en werkt verrassend goed. Je kunt zo een 7B-model fine-tunen op een enkele consumentengpu.

Terug

AI-agenten: wanneer AI zelfstandig handelt

Gevorderd • Les 6

AI-agenten: wanneer AI zelfstandig handelt

Een AI-agent is een systeem waarbij een LLM niet alleen antwoorden geeft, maar ook acties uitvoert: zoeken op internet, code uitvoeren, bestanden aanmaken, API-verzoeken doen, en zelfs andere agenten aansturen.

Hoe werkt een agent?

De cyclus: de agent ontvangt een taak, bedenkt een plan (reasoning), kiest een tool om te gebruiken (action), verwerkt het resultaat (observation), en herhaalt dit tot de taak klaar is. Dit heet de ReAct-loop (Reason + Act).

Tools en functies

Agenten krijgen beschikking over tools: functies met een naam, beschrijving en parameters. Het model leest de beschrijvingen en besluit welke tool te gebruiken. Dit is function calling of tool use in de API.

Multi-agent systemen

Complexe taken worden verdeeld over gespecialiseerde agenten. Een orchestrator-agent plant de taak en delegeert aan subagenten. Die subagenten zijn gespecialiseerd in code schrijven, zoeken, of data analyseren. Frameworks als LangChain, CrewAI en het Anthropic Agent SDK helpen dit te bouwen.

Risico’s van agenten

Agenten die zelfstandig handelen introduceren risicos: ze kunnen fouten maken die moeilijk terug te draaien zijn, resources verbruiken of beveiligingsgrenzen overschrijden. Human-in-the-loop stappen en sandbox-omgevingen zijn essentieel.

Terug

RAG: AI koppelen aan je eigen data

Gevorderd • Les 5

RAG: AI koppelen aan je eigen data

Een standaard LLM weet niets over jouw interne documenten, klantdata of privekennisbank. RAG (Retrieval Augmented Generation) lost dit op door relevante informatie op te zoeken en mee te sturen in de prompt.

Hoe werkt RAG?

Stap 1: je slaat documenten op als vectorembeddings in een vectordatabase. Stap 2: bij een gebruikersvraag zoek je de meest relevante stukken op met semantisch zoeken. Stap 3: die stukken voeg je toe aan de prompt. Het model beantwoordt de vraag op basis van die context.

Vectorembeddings

Een embedding is een numerieke representatie van tekst waarbij betekenis is vastgelegd als coordinaten in een hoge-dimensionele ruimte. Semantisch vergelijkbare teksten liggen dicht bij elkaar. Dit maakt semantisch zoeken mogelijk: je vindt relevante tekst ook als de exacte woorden niet overeenkomen.

Vectordatabases

Tools als Pinecone, Weaviate, Qdrant en pgvector (Postgres) zijn populaire opties voor het opslaan en doorzoeken van embeddings. Je kiest op basis van schaal, kosten en integratiemogelijkheden.

Wanneer gebruik je RAG?

RAG is ideaal voor interne kennisbanken, klantenservice op basis van documentatie, juridische analyse van contracten of wetgeving, en elk scenario waar de AI moet redeneren over specifieke up-to-date informatie die niet in het trainingsdata zit.

Terug

AI werken met de API: introductie voor ontwikkelaars

Gevorderd • Les 4

AI werken met de API: introductie voor ontwikkelaars

De meeste grote AI-modellen zijn beschikbaar via een REST API. Je stuurt een HTTP-verzoek met je prompt en ontvangt een JSON-respons met de output.

Authenticatie

Je hebt een API-sleutel nodig. Die vraag je aan via het developer-portaal van de provider. Zet de sleutel nooit in je code maar in een omgevingsvariabele (environment variable). Behandel een API-sleutel als een wachtwoord.

Een basisverzoek

Bij de Anthropic API (Claude) stuur je een POST naar https://api.anthropic.com/v1/messages met een JSON body die het model, de systeemprompt en de berichten bevat. De respons bevat de gegenereerde tekst plus metadata zoals tokengebruik.

Tokens en kosten

Je betaalt per token: invoer (prompt) en uitvoer (respons) worden apart in rekening gebracht. Houd tokengebruik in de gaten via de metadata in de respons. Goedkopere modellen (zoals Haiku of GPT-4o mini) zijn geschikt voor eenvoudige taken.

Streaming

Met streaming ontvang je de respons token voor token in plaats van als een blok aan het einde. Dit geeft een vloeiende gebruikerservaring. Implementeer met server-sent events (SSE).

Terug

De transformer-architectuur: de basis van moderne AI

Gevorderd • Les 3

De transformer-architectuur: de basis van moderne AI

In 2017 introduceerden Google-onderzoekers de transformer in het paper Attention Is All You Need. Die architectuur is de basis van GPT, Claude, Gemini en vrijwel elk ander modern taalmodel.

Het attention-mechanisme

Het centrale concept is self-attention: het model kijkt voor elk woord in een zin naar alle andere woorden om context te bepalen. Bij het verwerken van het woord bank bepaalt het model op basis van omliggende woorden of het een financiele instelling of een zitbank betreft.

Parallelisatie

Voor transformers werden recurrente netwerken (RNN) gebruikt, die tekst sequentieel verwerken. Transformers verwerken alle tokens tegelijk, wat enorm parallelliseerbaar is op GPU-hardware. Dat maakt training van grote modellen haalbaar.

Encoder en decoder

Een encoder verwerkt invoer naar een interne representatie. Een decoder genereert op basis daarvan uitvoer. GPT-modellen gebruiken alleen de decoder (generatief). BERT gebruikt alleen de encoder (begrijpend). T5 gebruikt beide.

Context window

Het context window is het maximum aantal tokens dat een model tegelijk kan verwerken. Vroege modellen hadden 2048 tokens; moderne modellen als Claude 3.5 halen 200.000 tokens. Hoe groter het window, hoe meer het model tegelijk kan overzien.

Terug

Neurale netwerken en deep learning begrijpen

Gevorderd • Les 2

Neurale netwerken en deep learning begrijpen

Moderne AI is gebouwd op neurale netwerken: wiskundige structuren los gebaseerd op hoe het menselijk brein werkt.

Hoe werkt een neuraal netwerk?

Een neuraal netwerk bestaat uit lagen van knooppunten (neuronen). Elke invoer wordt vermenigvuldigd met een gewicht, opgeteld, en door een activatiefunctie gestuurd. Die berekening gaat laag voor laag totdat het netwerk een uitkomst produceert. Tijdens training worden de gewichten steeds aangepast om de fout te minimaliseren.

Diepte versus breedte

Deep learning betekent netwerken met veel lagen (diep). Die extra lagen laten het netwerk steeds abstractere patronen leren: van pixels naar randen, naar vormen, naar objecten, naar concepten. Breedte verwijst naar het aantal neuronen per laag.

Backpropagation

Backpropagation is het algoritme dat neurale netwerken traint. Na elke voorspelling wordt de fout berekend. Die fout werkt achterwaarts door het netwerk om gewichten bij te stellen. Dit proces herhaalt zich miljoenen keren.

Overfitting

Een model dat te goed past op trainingsdata maar slecht presteert op nieuwe data heeft overfit. Technieken zoals dropout, regularisatie en het gebruiken van een aparte validatieset helpen dit te voorkomen.

Terug