Category Archives: NVIDIA

Etched, de AI-chipstartup die NVIDIA’s monopolie wil doorbreken, heeft een waardering van $5 miljard bereikt. Het bedrijf meldt $1 miljard aan contractwaarde voor zijn inference-systemen, gebouwd rond een eigen chipontwerp dat door TSMC is geproduceerd. De systemen beloven snellere, goedkopere en energiezuinigere inference dan de GPU’s van NVIDIA.

Etched richt zich op inference: het uitvoeren van getrainde modellen na een gebruikersprompt. Dat is momenteel de grootste bottleneck en kostenpost voor AI-bedrijven die modellen op schaal aanbieden. Waar NVIDIA’s GPU’s algemeen inzetbaar zijn, kiest Etched voor een gespecialiseerd ontwerp dat specifiek is geoptimaliseerd voor transformer-gebaseerde modellen. Het bedrijf uit 2022 heeft in totaal $800 miljoen opgehaald.

De komst van Etched past in een bredere trend van chip-startups die NVIDIA’s dominantie uitdagen. Waar de GPU-markt grotendeels door NVIDIA wordt beheerst, zien investeerders kansen in gespecialiseerde inference-chips die lagere kosten per token kunnen leveren. De vraag is of Etched zijn beloften kan waarmaken nu de systemen bij klanten worden getest. Voor NVIDIA betekent het dat de concurrentie niet alleen komt van grote spelers als AMD of Google, maar ook van goed gefinancierde startups.

NVIDIA heeft de quad-die variant van de Rubin Ultra GPU geannuleerd en kiest voor een dual-GPU-ontwerp. De oorspronkelijke vier-die configuratie bleek te complex voor productie.

De Rubin Ultra is NVIDIA’s aankomende high-end GPU voor AI-rekensystemen. De wijziging van een quad-die naar een dual-GPU-ontwerp betekent dat NVIDIA inlevert op maximale rekenkracht per chip, maar wel een productiebaarder product aflevert. Productieproblemen werden als reden voor de aanpassing genoemd.

De verandering komt op een moment waarop de vraag naar AI-rekenkracht onverminderd groot is. NVIDIA’s H100-huurprijzen stegen recent met 40 procent, en cloudproviders draaien op volle capaciteit. Een vertraging of herontwerp van Rubin Ultra zou de toevoerlijn kunnen raken.

NVIDIA’s keuze voor een simpeler ontwerp past bij een bredere trend in de chipindustrie: complexiteit verlagen om opbrengst en leveringszekerheid te verhogen. De prestaties per afzonderlijke GPU blijven vergelijkbaar, maar de schaalbaarheid per eenheid verandert.

Palantir Technologies en NVIDIA hebben een partnerschap aangekondigd om AI-modellen veilig beschikbaar te maken voor Amerikaanse overheidsinstanties. Het arrangement combineert Palantir’s beveiligde data-infrastructuur met NVIDIA’s Nemotron-modellen, een serie open taalmodellen die binnen afgeschermde omgevingen draaien.

Voor overheden is de inzet van AI vaak een spanningsveld tussen efficiëntie en gegevensveiligheid. Classificeerbare informatie mag niet via publieke clouddiensten verwerkt worden. De samenwerking lost dit op door NVIDIA’s modellen binnen Palantir’s afgeschermde omgeving te laten draaien, waarbij overheidsinstanties volledige controle behouden over hun data.

De markt reageerde positief: Palantir’s aandelen stegen na de aankondiging, en NVIDIA noteerde eveneens hoger te midden van aanhoudend sterke vraag naar AI-chips. Het partnerschap toont dat de strijd om AI-dominantie zich niet alleen afspeelt in consumentenproducten, maar steeds meer in de publieke sector.

De huurprijs voor NVIDIA H100 GPU’s is in enkele weken met veertig procent gestegen, terwijl AWS zijn prijzen voor NVIDIA-compute-instanties met twintig procent verhoogt. De twee stijgingen raken verschillende lagen van de AI-infrastructuurmarkt maar wijzen op dezelfde onderliggende dynamiek: de vraag naar rekenkracht voor AI overtreft het aanbod ruimschoots.

De H100 is nog altijd het werkpaard voor inference en training bij veel bedrijven, ondanks de komst van nieuwere architecturen. De prijsstijging op de huurmarkt treft vooral startups en onderzoeksgroepen die eigen hardware niet kunnen financieren. AWS verhoogt zijn tarieven voor NVIDIA-instanties naar eigen zeggen door hogere upstream-kosten en aanhoudende vraag uit het enterprise-segment. Het effect: AI-ontwikkeling wordt duurder op precies het moment dat meer bedrijven afhankelijk worden van GPU-rekenkracht.

De stijging valt samen met bredere spanningen in de AI-chipmarkt. OpenAI bouwt eigen chips om de afhankelijkheid van NVIDIA te verminderen, en ook andere techgiganten zoeken naar alternatieven. Zolang NVIDIA echter de dominante leverancier blijft, bepalen GPU-prijzen in grote mate de kostprijs van AI-toepassingen. Voor bedrijven die AI schalen, is de rekening nu voelbaar groter dan een kwartaal geleden.

NVIDIA’s geexporteerde AI-chips, door Amerikaanse sancties verboden voor verkoop aan China, verdubbelen in prijs op de Chinese zwarte markt. Een chip die officieel voor duizenden dollars verkoopt, brengt nu het dubbele op onder de hand, omdat Chinese bedrijven dringend op zoek zijn naar rekenkracht voor AI-training.

De sancties waren bedoeld om China’s AI-ontwikkeling te vertragen, maar de zwarte markt toont aan dat vraag en aanbod hun eigen wegen vinden. Chinese AI-bedrijven betalen premies van honderd procent of meer, wat suggereert dat de restricties de ontwikkeling niet stoppen maar wel aanzienlijk duurder maken.

De situatie plaatst NVIDIA in een ongemakkelijke positie. Het bedrijf verliest inkomsten uit de Chinese markt, terwijl zijn chips toch daar belanden via omwegen. De Amerikaanse overheid onderzoekt de illegale handel, maar de schaal van de zwarte markt maakt handhaving lastig. Voor NVIDIA betekent het dat de politieke dimensie van AI-hardware steeds complexer wordt.

NVIDIA onthulde dat Vera CPU’s worden ingezet in nieuwe supercomputers bij het Los Alamos National Laboratory (LANL). De systemen, gebouwd door HPE en NVIDIA, heten Mission, Vision en Veritas en moeten wetenschappelijke ontdekkingen versnellen.

Vera is NVIDIA’s eigen CPU-architectuur, ontworpen om GPU-versnelling te combineren met traditionele CPU-taken. Bij Los Alamos worden de Vera CPU’s ingezet om agentic AI in de wetenschap mogelijk te maken: AI-systemen die zelfstandig complexe taken uitvoeren, van materiaalontdekking tot simulatie van fysische processen. Het lab werkt al jaren aan de grens van AI en kernfysica.

De aankondiging valt samen met de ISC-conferentie in Hamburg, waar NVIDIA een reeks wetenschappelijke software-tools introduceerde. Dat Los Alamos specifiek kiest voor Vera CPU’s, naast NVIDIA GPU’s, toont aan dat het bedrijf niet alleen GPU-dominantie najaagt, maar een volledig CPU-GPU ecosysteem opbouwt voor de volgende generatie van AI-gedreven wetenschap.

Meer dan 400 van ‘s werelds 500 snelste supercomputers draaien op NVIDIA-technologie. Dat is 81% van de Top500-lijst, die deze week werd gepubliceerd op de ISC-conferentie in Hamburg. Het is een stijging van 17 systemen ten opzichte van de vorige lijst.

Bijna negen van de tien nieuw toegevoegde systemen zijn gebouwd op NVIDIA. De NVIDIA-systemen op de lijst leveren samen meer dan twee keer zoveel AI-trainingscapaciteit en bijna drie keer zoveel inference-doorvoer als alle andere platformen gecombineerd. NVIDIA GPU’s versnellen een recordaantal van 238 systemen, en NVIDIA-netwerktechnologie verbindt 376 van de 500 systemen.

Op de Green500, die meet hoeveel rekenkracht elk systeem per watt levert, pakt NVIDIA de top acht. Nummer één is KAIROS, een Grace Hopper-systeem aan de Universiteit van Toulouse, met 73,3 gigaflops per watt. NVIDIA Grace CPU’s vinden hun weg naar 26 systemen, acht meer dan vorige keer. Europa bouwt momenteel 35 NVIDIA-AI HPC-supercomputers, waaronder JUPITER, het eerste Europese systeem dat exascale bereikt.

NVIDIA introduceert een warmwaterkoelsysteem dat het waterverbruik binnen datacenters drastisch kan verminderen. Volgens het bedrijf elimineert het systeem vrijwel al het on-site watergebruik. De vloeistof wordt eenmalig gevuld en circuleert in een gesloten lus voor de hele levensduur van de faciliteit.

Het systeem pompt koelvloeistof van 45 graden Celsius door de serverracks. Na passage stijgt de temperatuur naar 55 graden, wat voldoende is om warmte af te voeren via passieve radiatoren. In gunstige klimaten hoeven er geen ventilatoren of verdampers aan te pas. Dat betekent stillere en efficiëntere datacenters.

Toch is dat slechts een deel van het verhaal. NVIDIA meet alleen het waterverbruik binnen de muren van het datacenter. De elektriciteitsopwekking die die datacenters voedt, valt buiten die grens. Fossiele gascentrales verbruiken 1,17 liter water per kilowattuur, kolencentrales 2,2 liter. Samen leveren ze ongeveer de helft van alle datacenterstroom. De IEA verwacht dat gas en kolen tot 2030 nog meer dan 40% van de nieuwe datacentercapaciteit leveren. NVIDIA lost een kwart tot een derde van het totale waterprobleem op. De rest zit in het stroomnet.

Op de ISC-conferentie in Hamburg presenteert NVIDIA een pakket nieuwe softwarebibliotheken die AI-onderzoek flink versnellen. De toolkit, deel van CUDA-X, richt zich op uiteenlopende vakgebieden: van materiaalsimulatie en chemie tot astronomie en deeltjesfysica.

De highlight is cuPhoton, referentiecode voor het verwerken van gigantische astronomische datasets. Op NVIDIA GB200-systemen haalt cuPhoton een versnelling van 14.900x bij het laden en lezen van FITS-bestanden van de Rubin-telescoop. Met 32 Grace Blackwell-superchips gaat signaalverwerking tot 8.400x sneller. Daarnaast brengt DAQIRI een oplossing voor real-time datastroom van detectoren naar GPU’s. CERN gebruikt het al in het A-GHOST-project om botsingsdata van het ATLAS-experiment te analyseren. Tot nu toe moest CERN 99% van die data weggooien wegens opslagbeperkingen.

Voor chemie en materiaalonderzoek biedt NVIDIA ALCHEMI, een collectie microservices die processen zoals geometrie-relaxatie en moleculaire dynamica versnellen. Dat is relevant voor de ontwikkeling van batterijmaterialen, katalysatoren en OLED-schermen. De boodschap van NVIDIA is helder: de rekenkracht van GPU’s verandert niet alleen AI-training, maar ook fundamenteel wetenschappelijk onderzoek.

In de Linux 7.2 kernel-patch is een verwijzing naar “Blackwell-Next” gevonden, de volgende generatie GPU-architectuur van NVIDIA. De vondst bevestigt dat NVIDIA al werkt aan de opvolger van de huidige Blackwell-chips die nu in datacenters en werkstations draaien.

De referentie in de kernel-patch suggereert dat NVIDIA de ontwikkeling van nieuwe drivers en softwareondersteuning al in een gevorderd stadium heeft. Kernelintegratie gebeurt doorgaans pas wanneer hardware dicht bij productie is. Dat betekent dat de eerste Blackwell-Next chips mogelijk binnen een jaar verschijnen, mogelijk met een aankondiging op een volgend GTC-evenement.

NVIDIA zit in een ongekende investeringsgolf. Het bedrijf levert Blackwell-chips aan AWS, Microsoft, Google en Meta voor hun AI-datacenters. De vraag naar AI-compute is groter dan TSMC kan produceren, wat leidt tot wachttijden voor klanten. Met Blackwell-Next zou NVIDIA een volgende prestatiesprong kunnen maken om de druk op de toeleveringsketen te verminderen. De chipmaker werkt daarnaast aan partnerships met SK hynix voor AI-geheugen en met Microsoft voor agentic AI-infrastructuur.