Inference is het moment waarop een getraind AI-model daadwerkelijk wordt gebruikt om een uitvoer te genereren. Terwijl training het leerproces is — het model past zijn parameters aan op basis van data — is inference het toepassen van wat het model heeft geleerd op een nieuw, onbekend verzoek.

In de praktijk is inference wat er gebeurt elke keer dat je een vraag stelt aan een chatbot, een afbeelding laat analyseren, of een tekst laat vertalen. Het model ontvangt de invoer, verwerkt deze door zijn neurale netwerk, en produceert een antwoord — dit alles binnen milliseconden tot seconden.

Inference vereist rekenkracht, maar veel minder dan training. Toch zijn de kosten van inference op grote schaal aanzienlijk, omdat populaire AI-diensten dagelijks miljoenen verzoeken verwerken.