Mixture of Experts (MoE) is een architectuur waarbij een neuraal netwerk bestaat uit meerdere gespecialiseerde ‘expert’-submodellen, en een router bepaalt welke expert(s) voor elke invoer gebruikt worden.

Dit maakt het mogelijk grotere capaciteit te bereiken zonder de compute-kosten exponentieel te verhogen. Elk expert richt zich op specifieke patronen of taken.