In mei 2020 publiceerde OpenAI het paper voor GPT-3. Met 175 miljard parameters was het model twee ordes van grootte groter dan zijn voorganger GPT-2 (1,5 miljard parameters). De resultaten lieten de AI-gemeenschap staan te kijken.
GPT-3 kon code schrijven, poëzie dichten, vragen beantwoorden, tekst vertalen, sommen uitrekenen — allemaal zonder expliciete training op die taken. Je gaf het een paar voorbeelden en het begreep wat je wilde. Dit werd few-shot learning genoemd.
De grens waarna alles veranderde
GPT-3 was de eerste keer dat een taalmodel gegeneraliseerde intelligentie demonstreerde op een schaal die mensen serieus nam. De demo’s circuuleerden op Twitter: GPT-3 schreef essays die journalisten niet van menselijke teksten konden onderscheiden. Het genereerde SQL-code uit gewone tekst. Het beantwoordde filosofische vragen.
Sam Altman (CEO OpenAI) beschreef het als een vroege versie van de technologie die de wereld zou veranderen. Er waren ook critici — Gary Marcus wees op de patronen die GPT-3 niet begreep en de feitelijke fouten die het maakte. Maar de schaal van de mogelijkheden was onomstreden.
De API: AI als product
OpenAI lanceerde GPT-3 niet als open-source model, maar als API. Bedrijven konden toegang kopen om GPT-3 in hun eigen producten te integreren. Er ontstond een hele industrie: duizenden startups bouwden op de GPT-3 API. Jasper.ai (schrijfassistent), GitHub Copilot (codegeneratie, gebaseerd op Codex — een finetuned GPT-3), en tientallen andere tools.
Dit was de eerste keer dat AI als dienst grootschalig commercieel werd. OpenAI verdiende geld met ieder verzoek. Het model voor AI-commercialisering dat nu dominant is, begon hier.
De vraag die GPT-3 stelde
GPT-3 riep één vraag op die sindsdien centraal staat in AI-debat: is dit schaal alleen, of is er iets fundamenteel nieuws aan het ontstaan? Zijn grotere modellen automatisch slimmer? De scaling hypothesis — dat meer data en meer parameters lineair leiden tot betere prestaties — kreeg door GPT-3 zijn sterkste empirische onderbouwing tot dan toe.