Category Archives: AI Term van de Dag

Een Vision Transformer (ViT) is een model dat de transformer-architectuur, die bekend staat van taalmodellen zoals ChatGPT en Claude, toepast op afbeeldingen. In plaats van traditionele convolutional neural networks (CNN) te gebruiken die lokale patronen scannen, splitst een Vision Transformer een afbeelding op in kleine patches, zet ze om in vectoren en verwerkt ze dan met attention-mechanismen.

Dit is revolutionary omdat transformers veel betere resultaten kunnen bereiken voor bepaalde computer vision-taken, vooral met grote hoeveelheden trainingsdata. Vision Transformers zijn schaalbaar, flexibel en kunnen zeer grote afbeeldingen verwerken zonder de architectuur drastisch aan te passen.

Vision Transformers worden increasingly gebruikt in praktische toepassingen zoals beelddassificatie, object detection, en semantic segmentation. Google’s ViT en Meta’s DeiT zijn voorbeelden van baanbrekende Vision Transformer-modellen.

Sampling in AI is het proces van het selecteren van mogelijke outputs uit een model’s waarschijnlijkheidsverdeling. In plaats van altijd de meest waarschijnlijke output te kiezen (greedy decoding), kan sampling ervoor zorgen dat het model meer diverse en creatieve antwoorden genereert.

Bij een taalmodel kan sampling gebruikt worden voor tekst generatie:

1. Het model berekent probabiliteiten voor elk mogelijk volgende woord
2. In plaats van het woord met de hoogste kans te kiezen, trekken we willekeurig uit deze verdeling
3. Dit maakt tekst natuurlijker en diverser

Varianten van sampling omvatten top-k sampling (alleen de k meest waarschijnlijke tokens selecteren), nucleus sampling (selecteer totdat je 95 procent cumulatieve waarschijnlijkheid bereikt), en temperature scaling (beheers hoe flat of scherp de verdeling is).

Feature Engineering is het proces van het selecteren, transformeren en combineren van onbewerkte gegevens in features (invoervariabelen) die een machine learning-model kan leren. Dit is essentieel omdat de kwaliteit van features vaak meer impact heeft op modelprestatie dan het algoritme zelf.

Dit omvat activiteiten als het werken met ontbrekende waarden, het schalen van features, het maken van nieuwe afgeleide features, en het verwijderen van irrelevante variabelen.

Boosting is een ensemble-techniek waarbij modellen sequentieel worden getraind, waarbij elk volgend model zich concentreert op de fouten van vorige modellen. Voorbeelden zijn AdaBoost en Gradient Boosting.

Boosting verbetert nauwkeurigheid door zwakke modellen om te zetten in sterke predictors. Het is effectief maar kan gevoelig zijn voor overfitting.

Een Encoder-Decoder architectuur bestaat uit twee delen: een encoder die invoergegevens verwerkt en samenperst tot een compact “context” representatie, en een decoder die deze representatie gebruikt om uitvoer te genereren. Dit is de basis voor veel sequence-to-sequence taken.

Deze architectuur is bijzonder nuttig voor taken waar invoer en uitvoer verschillende lengtes hebben, zoals machinevertalingen, tekstsamenvatting en vraag-antwoord systemen.

Een Variational Autoencoder (VAE) is een type neurale netwerkarchitectuur dat gebruikt wordt voor ongecontroleerd leren van complexe data distribu ties. Het bestaat uit twee delen: een encoder die invoerdata comprimeerd naar een latente representatie, en een decoder die die representatie terug gebruikt om de originele data te reconstrueren.

Het “variational” deel betekent dat VAE’s probabilistische modellen zijn – ze leren niet alleen een vaste representatie, maar ook de verdeling van mogelijke representaties. Dit maakt het mogelijk om nieuwe, nieuwe data te genereren door samples uit de latente ruimte te trekken.

VAE’s worden gebruikt voor generatieve taken: het genereren van afbeeldingen, het vervangen of verbeteren van beschadigde data, en het leren van gecomprimeerde representaties van complexe data. Ze combineren het beste van autoencoders (dimensionality reduction) met statistische waarschijnlijkheid.

Bagging (Bootstrap Aggregating) is een ensemble machine learning-techniek waarbij meerdere modellen worden getraind op verschillende random samples van dezelfde trainingsdata. De voorspellingen van alle modellen worden vervolgens gecombineerd.

Dit reduceert overfitting en verbetert de generaliseringsnauwkeurigheid van het model. Random forests zijn een populair voorbeeld van bagging met beslissingsbomen.

Sparse models zijn AI-modellen waarin veel parameters (gewichten) nul zijn of niet gebruikt worden. In tegenstelling tot dichte modellen waarbij bijna alle parameters actief zijn, maakt een sparse model slechts een klein deel van zijn parameters voor elke input actief.

Dit heeft meerdere voordelen:

1. Efficiënter: Minder parameters actief betekent snellere berekeningen
2. Kleiner model: Nul-parameters kunnen worden verwijderd, wat het model kleiner maakt
3. Interpretabiliteit: Het is vaak duidelijker welke delen van het model belangrijk zijn
4. Schaalbaar: Sparse modellen kunnen efficiënt op zeer grote datasets werken

Techniques zoals pruning (het verwijderen van onbelangrijke verbindingen) en mixture-of-experts architecturen creëren sparsity. Moderne large language models als GPT gebruiken soms sparse attention mechanismen.

Dropout is een regularisatietechniek die willekeurig neuronen uit het netwerk deactiveert (soms op nul stelt) tijdens het trainen. Dit helpt overfitting voorkomen door te voorkomen dat bepaalde neuronen co-adapteren en te veel afhankelijk worden van elkaar.

Door willekeurig neuronen uit te schakelen, traint het model meer robuuste functies die niet alleen afhankelijk zijn van enkele neuronen. Dit is als ensemble-leren, waarbij veel thinned networks samenwerken.

Een Autonomous Agent is een software-entiteit die zelfstandig doelen stelt, plannen maakt en acties uitvoert zonder directe menselijke controle. In AI-context zijn dit systemen gebaseerd op LLMs die kunnen redeneren en besluiten nemen.

Autonomous agents kunnen tools gebruiken, informatie opzoeken, taken uitvoeren en de gevolgen evalueren. Ze worden gebruikt in customer service, onderzoek en automatisering.