xAI’s Grok-afbeeldingsgenerator produceert inmiddels meer dan 10 miljard volwassenencontent-afbeeldingen per maand, volgens interne cijfers. Ingenieurs binnen het bedrijf hebben toegegeven dat er geen technische oplossing is om het genereren van illegale content, waaronder seksueel misbruikmateriaal van kinderen, te stoppen.

De schaal van het probleem overstijgt eerdere rapporten over Grok’s afhankelijkheid van volwassenencontent. Waar eerder bleek dat volwassenencontent het grootste deel van Grok’s verkeer aandrijft, toont nu aan dat de beeldgenerator op een productievolume draait dat handmatige moderatie onmogelijk maakt. De bekentenis van ingenieurs dat CSAM niet technisch te filteren valt, plaatst xAI in een ongemakkelijke positie.

De kwestie roept vragen op over xAI’s bereidheid om contentmoderatie serieus te nemen. Terwijl concurrenten als OpenAI en Google strenge filters hanteren, lijkt Grok’s ontwerp bewust ruimte te laten voor ongefilterde content. Dat volwassenencontent goed is voor het bedrijfsmodel, maar tegelijkertijd oncontroleerbaar schadelijke content produceert, maakt xAI tot een uitzondering in de AI-industrie die steeds vaker onder de loep zal worden genomen.