Tag Archives: nvidia

De Chinese overheid staat AI-bedrijven toe om NVIDIA H200-chips aan te kopen, meldt The Information. Het besluit markeert een versoepeling van de exportbeperkingen die het land aan chips van Amerikaanse makelij oplegde. Hoeveel chips er precies toegestaan worden, is nog onderwerp van discussie binnen de Chinese regering.

De H200 is NVIDIA’s opvolger van de H100, specifiek ontworpen voor AI-inferentie en training op grote schaal. Voor Chinese AI-bedrijven die onder Amerikaanse sancties draaiden op oudere hardware of afgedaalde versies, is toegang tot de H200 een significante upgrade. Het stelt hen in staat om grotere modellen te trainen en sneller te infereren, wat direct invloed heeft op hun concurrentiepositie ten opzichte van Amerikaanse en Europese AI-labs.

De versoepeling komt op een opvallend moment. NVIDIA verloor de afgelopen twee maanden ruim duizend miljard dollar aan marktkapitaal, deels door zorgen over afnemende vraag en geopolitieke spanningen. Toegang tot de Chinese markt voor de H200 kan een deel van die zorgen wegnemen, hoewel de schaal van de toegestane aankopen nog onduidelijk is. Voor NVIDIA is China een van de grootste afzetmarkten, en elke beperking of versoepeling heeft directe impact op de omzetverwachtingen.

NVIDIA introduceert Vera, een nieuwe CPU-architectuur specifiek ontworpen voor AI-workloads op schaal. Het ontwerp richt zich op maximale single-threaded CPU-prestaties, een bewuste keuze in een tijd waarin veel chipontwikkelaars kiezen voor meer cores in plaats van snellere individuele threads.

Voor AI-inferentie en training zijn veel workloads echter afhankelijk van sterke single-thread prestaties. De coördinatie tussen GPU-rekenkracht en CPU-logica vormt vaak de bottleneck in AI-factories. Vera moet die kloof dichten en zodoende de efficiëntie van grootschalige AI-implementaties verbeteren.

De lancering valt samen met NVIDIA’s bredere strategie om de volledige AI-stack te dekken, van GPU-rekenkernen tot CPU-coördinatie en software-infrastructuur. Met Vera positioneert NVIDIA zich als architect van de complete AI-factory, niet alleen de grafische rekenkracht.

NVIDIA versnelt de uitrol van AI-infrastructuur met twee strategische zetten. Het bedrijf stelt Omniverse, het 3D-simulatie- en samenwerkingsplatform, gratis beschikbaar voor productiegebruik. Daarnaast opent NVIDIA zijn AI-rekencapaciteit voor partners en startups, niet langer uitsluitend als huurkracht maar in een model waarin GPU-toegang wordt geruild tegen een aandeel in de omzet.

De gratis beschikbaarheid van Omniverse voor productiegebruik is een belangrijke stap. Voorheen was het platform vooral een ontwikkelaarstool, maar NVIDIA positioneert het nu als een industriestandaard voor bedrijven die digitale tweelingen, simulaties en synthetische trainingsdata willen bouwen. Het verwijdert een financiële drempel voor bedrijven die werken met OpenUSD, de open standaard voor 3D-scene-beschrijving.

Tegelijkertijd kondigt NVIDIA aan dat het AI-inferentie op schaal gaat aanbieden aan partners. Het bedrijf schuift van piekprestaties naar kosten per token als belangrijkste meetstaaf. Dat is een logische verschuiving nu AI van experimentele pilots naar productiefase gaat. Bedrijven betalen niet langer voor de snelste chip, maar voor het aantal bruikbare tokens per dollar.

Het omzetaandeelmodel voor GPU-toegang is een verticale integratie die NVIDIA’s positie verstevigt. Startups die GPU-kracht nodig hebben maar het voorschot niet kunnen betalen, krijgen rekenkracht in ruil voor een stuk omzet. NVIDIA wordt daarmee niet alleen hardwareleverancier maar ook mede-eigenaar van AI-diensten. Het model verlaagt de drempel voor nieuwe AI-bedrijven en bindt hen tegelijk aan het NVIDIA-ecosysteem.

NVIDIA stelt zijn inferentiesoftware-stack voor als antwoord op het grootste pijnpunt in productie-AI: de kosten per token. Waar het debat tot nu toe vooral ging over piekprestaties van individuele chips, verschuift de focus naar totale kosten over de hele inference-pipeline. NVIDIA positioneert zich als leverancier van niet alleen de hardware, maar ook de software die die hardware rendabel maakt.

De boodschap is strategisch slim. Wie alleen GPU’s levert, is inwisselbaar. Wie de softwarestack levert die tokenkosten minimaliseert, verankert klanten in een ecosysteem. NVIDIA’s inferentiestack omvat batching, caching en routing-optimalisaties die het verschil kunnen maken tussen een verliesgevende en winstgevende AI-service.

De verschuiving van piekprestaties naar kosten per token weerspiegelt een grotere industriebeweging. AI gaat van experiment naar productie, en in productie tellen niet benchmarks maar marges. Voor NVIDIA is dat een gunstige ontwikkeling: hoe meer klanten worstelen met inference-kosten, hoe waardevoller de softwarestack die die kosten omlaag brengt.

NVIDIA biedt startups de mogelijkheid om rekencapaciteit te gebruiken in ruil voor een aandeel in hun cloudomzet. Het nieuwe financieringsmodel stelt bedrijven in staat om AI-inferentie te draaien zonder direct enorme hardwarekosten te maken, maar NVIDIA krijgt daarbij een percentage van de gegenereerde cloudinkomsten.

Het programma past in NVIDIA’s bredere strategie om van pure hardwareleverancier naar infrastructuurpartner te evolueren. Met de verschuiving van modelontwikkeling naar productie-inferentie neemt de vraag naar doorlopende rekencapaciteit toe. NVIDIA positioneert zich als de schakel tussen fabrikant en dienstverlener, wat de afhankelijkheid van klanten vergroot en tegelijk een nieuwe inkomstenstroom opent.

Critici noemen het een dubbele dip: NVIDIA verkoopt de hardware en neemt vervolgens een stuk van de omzet die met die hardware wordt gegenereerd. Voor startups is de afweging toch aantrekkelijk, want de toetredingsdrempel tot grootschalige AI-inferentie daalt aanzienlijk. De verschuiving markeert het begin van een nieuw verdienmodel in de AI-industrie, waarbij de leverancier van de rekenkracht ook meedeelt in de winst.

Etched, de AI-chipstartup die NVIDIA’s monopolie wil doorbreken, heeft een waardering van $5 miljard bereikt. Het bedrijf meldt $1 miljard aan contractwaarde voor zijn inference-systemen, gebouwd rond een eigen chipontwerp dat door TSMC is geproduceerd. De systemen beloven snellere, goedkopere en energiezuinigere inference dan de GPU’s van NVIDIA.

Etched richt zich op inference: het uitvoeren van getrainde modellen na een gebruikersprompt. Dat is momenteel de grootste bottleneck en kostenpost voor AI-bedrijven die modellen op schaal aanbieden. Waar NVIDIA’s GPU’s algemeen inzetbaar zijn, kiest Etched voor een gespecialiseerd ontwerp dat specifiek is geoptimaliseerd voor transformer-gebaseerde modellen. Het bedrijf uit 2022 heeft in totaal $800 miljoen opgehaald.

De komst van Etched past in een bredere trend van chip-startups die NVIDIA’s dominantie uitdagen. Waar de GPU-markt grotendeels door NVIDIA wordt beheerst, zien investeerders kansen in gespecialiseerde inference-chips die lagere kosten per token kunnen leveren. De vraag is of Etched zijn beloften kan waarmaken nu de systemen bij klanten worden getest. Voor NVIDIA betekent het dat de concurrentie niet alleen komt van grote spelers als AMD of Google, maar ook van goed gefinancierde startups.

NVIDIA heeft de quad-die variant van de Rubin Ultra GPU geannuleerd en kiest voor een dual-GPU-ontwerp. De oorspronkelijke vier-die configuratie bleek te complex voor productie.

De Rubin Ultra is NVIDIA’s aankomende high-end GPU voor AI-rekensystemen. De wijziging van een quad-die naar een dual-GPU-ontwerp betekent dat NVIDIA inlevert op maximale rekenkracht per chip, maar wel een productiebaarder product aflevert. Productieproblemen werden als reden voor de aanpassing genoemd.

De verandering komt op een moment waarop de vraag naar AI-rekenkracht onverminderd groot is. NVIDIA’s H100-huurprijzen stegen recent met 40 procent, en cloudproviders draaien op volle capaciteit. Een vertraging of herontwerp van Rubin Ultra zou de toevoerlijn kunnen raken.

NVIDIA’s keuze voor een simpeler ontwerp past bij een bredere trend in de chipindustrie: complexiteit verlagen om opbrengst en leveringszekerheid te verhogen. De prestaties per afzonderlijke GPU blijven vergelijkbaar, maar de schaalbaarheid per eenheid verandert.

Palantir Technologies en NVIDIA hebben een partnerschap aangekondigd om AI-modellen veilig beschikbaar te maken voor Amerikaanse overheidsinstanties. Het arrangement combineert Palantir’s beveiligde data-infrastructuur met NVIDIA’s Nemotron-modellen, een serie open taalmodellen die binnen afgeschermde omgevingen draaien.

Voor overheden is de inzet van AI vaak een spanningsveld tussen efficiëntie en gegevensveiligheid. Classificeerbare informatie mag niet via publieke clouddiensten verwerkt worden. De samenwerking lost dit op door NVIDIA’s modellen binnen Palantir’s afgeschermde omgeving te laten draaien, waarbij overheidsinstanties volledige controle behouden over hun data.

De markt reageerde positief: Palantir’s aandelen stegen na de aankondiging, en NVIDIA noteerde eveneens hoger te midden van aanhoudend sterke vraag naar AI-chips. Het partnerschap toont dat de strijd om AI-dominantie zich niet alleen afspeelt in consumentenproducten, maar steeds meer in de publieke sector.

De huurprijs voor NVIDIA H100 GPU’s is in enkele weken met veertig procent gestegen, terwijl AWS zijn prijzen voor NVIDIA-compute-instanties met twintig procent verhoogt. De twee stijgingen raken verschillende lagen van de AI-infrastructuurmarkt maar wijzen op dezelfde onderliggende dynamiek: de vraag naar rekenkracht voor AI overtreft het aanbod ruimschoots.

De H100 is nog altijd het werkpaard voor inference en training bij veel bedrijven, ondanks de komst van nieuwere architecturen. De prijsstijging op de huurmarkt treft vooral startups en onderzoeksgroepen die eigen hardware niet kunnen financieren. AWS verhoogt zijn tarieven voor NVIDIA-instanties naar eigen zeggen door hogere upstream-kosten en aanhoudende vraag uit het enterprise-segment. Het effect: AI-ontwikkeling wordt duurder op precies het moment dat meer bedrijven afhankelijk worden van GPU-rekenkracht.

De stijging valt samen met bredere spanningen in de AI-chipmarkt. OpenAI bouwt eigen chips om de afhankelijkheid van NVIDIA te verminderen, en ook andere techgiganten zoeken naar alternatieven. Zolang NVIDIA echter de dominante leverancier blijft, bepalen GPU-prijzen in grote mate de kostprijs van AI-toepassingen. Voor bedrijven die AI schalen, is de rekening nu voelbaar groter dan een kwartaal geleden.

NVIDIA’s geexporteerde AI-chips, door Amerikaanse sancties verboden voor verkoop aan China, verdubbelen in prijs op de Chinese zwarte markt. Een chip die officieel voor duizenden dollars verkoopt, brengt nu het dubbele op onder de hand, omdat Chinese bedrijven dringend op zoek zijn naar rekenkracht voor AI-training.

De sancties waren bedoeld om China’s AI-ontwikkeling te vertragen, maar de zwarte markt toont aan dat vraag en aanbod hun eigen wegen vinden. Chinese AI-bedrijven betalen premies van honderd procent of meer, wat suggereert dat de restricties de ontwikkeling niet stoppen maar wel aanzienlijk duurder maken.

De situatie plaatst NVIDIA in een ongemakkelijke positie. Het bedrijf verliest inkomsten uit de Chinese markt, terwijl zijn chips toch daar belanden via omwegen. De Amerikaanse overheid onderzoekt de illegale handel, maar de schaal van de zwarte markt maakt handhaving lastig. Voor NVIDIA betekent het dat de politieke dimensie van AI-hardware steeds complexer wordt.