Gevorderd • Les 11

Open-source AI-modellen: Llama, Mistral en Phi

De AI-wereld wordt niet alleen bepaald door de grote commerciële spelers. Er is een levendig ecosysteem van open-source modellen dat snel volwassen wordt. Ze zijn gratis te downloaden, lokaal te draaien en naar wens aan te passen.

Llama van Meta

Meta’s Llama-serie is een van de meest invloedrijke open-source modellen. Llama 3 biedt sterke prestaties in meerdere maten: van compacte modellen voor lokaal gebruik tot grote varianten die commerciële modellen benaderen. De modelgewichten zijn openbaar beschikbaar, al gelden er licentievoorwaarden voor commercieel gebruik.

Mistral en Mixtral

Mistral AI, een Frans bedrijf, publiceert efficiënte modellen die uitblinken in redeneren en instructieopvolging. Mixtral is een Mixture of Experts-variant die bij gelijke output minder rekenkracht gebruikt dan dense modellen. Mistral-modellen zijn populair omdat ze klein genoeg zijn voor lokaal gebruik maar goed presteren op benchmarks.

Microsoft Phi

De Phi-modellen van Microsoft zijn ontworpen om maximaal te presteren bij minimaal formaat. Phi-3 en Phi-4 zijn kleine modellen (2-14 miljard parameters) die verrassend goed zijn in redeneren en codering, mede dankzij hoogwaardige trainingsdata. Ze zijn ideaal voor on-device toepassingen.

Wanneer kies je voor open-source?

Open-source modellen zijn aantrekkelijk voor privacy-bewuste toepassingen, lokale deployment, fine-tuning op eigen data en kostenbesparing bij hoog volume. De keerzijde is dat je zelf verantwoordelijk bent voor hardware, onderhoud en beveiliging. Voor de meeste productietoepassingen zijn API-gebaseerde modellen eenvoudiger te beheren.