In september 2012 stuurde een team van drie onderzoekers van de Universiteit van Toronto een inzending in voor de ImageNet Large Scale Visual Recognition Challenge — een jaarlijkse competitie waarbij computers leren afbeeldingen te classificeren. Hun inzending heette AlexNet. Ze wonnen met een marge die niemand voor mogelijk had gehouden.
De foutmarge van AlexNet was 15,3%. De beste niet-deep-learning concurrent maakte 26,2% fouten. Dat verschil van bijna 11 procentpunten was zo groot dat de hele vakgemeenschap van onderzoeksrichting veranderde — in één klap.
Het team: Krizhevsky, Sutskever en Hinton
Alex Krizhevsky schreef het netwerk. Ilya Sutskever werkte mee (hij zou later OpenAI mede-oprichten). En hun promotor was Geoffrey Hinton — de man die al decennia in neurale netwerken geloofde toen niemand anders dat deed. Hij zou in 2024 de Nobelprijs Fysica winnen.
De sleutel van AlexNet was de combinatie van drie dingen die al bestonden maar nog nooit op deze schaal gecombineerd waren:
- Diepe convolutionele neurale netwerken (meerdere lagen, elk leert andere features)
- GPU-training — grafische kaarten bleken perfect voor matrixberekeningen in neurale netwerken
- Grote datasets (ImageNet had 1,2 miljoen gelabelde afbeeldingen)
Waarom dit het keerpunt was
Vóór 2012 geloofden de meeste AI-onderzoekers dat handmatig geëngineerde features noodzakelijk waren — mensen die expliciet programma’s schreven om randen, kleuren en vormen te detecteren. AlexNet bewees dat een netwerk die features zelf kon leren uit ruwe pixels.
Google, Facebook, Baidu, Microsoft — ze aanschouwden de resultaten en begrepen onmiddellijk de implicaties. Binnen twee jaar hadden alle grote techbedrijven deep learning-teams. Hinton zelf werd aangenomen door Google. Sutskever ging naar OpenAI. De moderne AI-boom was begonnen.
Vandaag draaien GPT-4, Claude, Gemini, en vrijwel alle moderne AI-systemen op de architectuurprincipes die AlexNet demonstreerde: schaalbare neurale netwerken, getraind op GPU’s, met grote datasets. 2012 was het jaar nul van de moderne AI.