Sparse models zijn AI-modellen waarin veel parameters (gewichten) nul zijn of niet gebruikt worden. In tegenstelling tot dichte modellen waarbij bijna alle parameters actief zijn, maakt een sparse model slechts een klein deel van zijn parameters voor elke input actief.

Dit heeft meerdere voordelen:

1. Efficiënter: Minder parameters actief betekent snellere berekeningen
2. Kleiner model: Nul-parameters kunnen worden verwijderd, wat het model kleiner maakt
3. Interpretabiliteit: Het is vaak duidelijker welke delen van het model belangrijk zijn
4. Schaalbaar: Sparse modellen kunnen efficiënt op zeer grote datasets werken

Techniques zoals pruning (het verwijderen van onbelangrijke verbindingen) en mixture-of-experts architecturen creëren sparsity. Moderne large language models als GPT gebruiken soms sparse attention mechanismen.