OpenAI heeft Jalapeño onthuld, zijn eerste zelfontworpen inference-chip, ontwikkeld in samenwerking met Broadcom. De chip is specifiek gebouwd voor het draaien van grote taalmodellen in datacenters en moet het bedrijf onafhankelijker maken van NVIDIA GPU’s.

De chip is ontworpen als een ASIC (Application-Specific Integrated Circuit) en is vanaf nul opgebouwd op basis van inzichten uit OpenAI’s eigen modelontwikkeling. Broadcom meldt dat het ontwikkelingsproces negen maanden duurde en dat OpenAI’s eigen AI-modellen hielpen delen van het ontwerp te versnellen. Early testing toont een aanzienlijk betere performance-per-watt dan huidige alternatieven, aldus OpenAI, hoewel gedetailleerde benchmarks pas later volgen.

De stap naar eigen silicium past in een bredere trend. Google bouwt al jaren eigen TPU’s en Amazon heeft zijn Inferentia en Trainium chips. OpenAI wil de volledige stack achter zijn modellen beheersen, van datacenters tot nu ook het chipontwerp. Jalapeño is expliciet bedoeld voor inference, niet voor het trainen van modellen. De eerste chips moeten eind dit jaar in datacenters staan.