In de afgelopen twee posts hebben we diepgaand het verleden van CPU-architecturen (x86, x64) en de opkomst van ARM onderzocht. Vandaag gaan we het hebben over het bedrijf dat bovenop al dit CPU-verhaal staat en dat de laatste tijd de heetste aardappel is geworden: NVIDIA.

NVIDIA is lange tijd de absolute heerser van de GPU (graphics processing unit) markt geweest. Maar onlangs breiden zij hun invloed uit, niet alleen over GPUs, maar ook naar de CPU-markt, en schrijven zij de toekomst van computing opnieuw. Laten we samen ontdekken waarom NVIDIA CPU's maakt en wat dit betekent in het AI-tijdperk.

1. Was NVIDIA niet oorspronkelijk een GPU-bedrijf? Wat is de relatie met CPU?

Ja, dat klopt. NVIDIA is vooral bekend om zijn GeForce (gaming) en Quadro/RTX (voor professionals), en onlangs ook om de A/H-serie van GPU's voor datacenters. GPU's verwerken berekeningen anders dan CPU's.

  • CPU: Is gespecialiseerd in het snel en efficiënt verwerken van sequentiële en complexe enkele taken. (Bijv.: besturingssysteem uitvoeren, documenten bewerken, web browsen)

  • GPU: Werkt met duizenden kleine kernen die parallel en gelijktijdig eenvoudige maar repetitieve grootschalige berekeningen uitvoeren. (Bijv.: grafische rendering, simulaties van de fysieke wereld, en kunstmatige intelligentie leren/redeneren)

Heel lang hebben CPU's en GPU's elkaar aangevuld om computersystemen samen te stellen. De CPU fungeert als 'de hersenen' van het systeem, terwijl de GPU de grafische of specifieke parallelle berekeningen als een 'specialist' uitvoert.

Maar met de opkomst van het AI-tijdperk begonnen er veranderingen in hun relatie plaats te vinden. Het leren van enorme datasets en het berekenen van complexe neurale netwerken is bijna onmogelijk zonder de parallelle verwerkingscapaciteit van een GPU. NVIDIA begreep vroeg de potentie van de GPU en ontwikkelde het CUDA parallel computing platform, waardoor de GPU niet alleen een grafische kaart is, maar ook voor algemene berekeningen kan worden gebruikt.

2. De beperkingen van GPU en de noodzaak van CPU: De inefficiëntie van 'dataoverdracht'

Het is duidelijk dat GPU's de kern van AI-berekeningen zijn, maar de dataoverdracht tussen CPU en GPU blijft een knelpunt veroorzaken.

  • CPU ↔ GPU dataoverdracht: Tijdens het leren of redeneren van AI-modellen bereidt de CPU de gegevens voor, en de GPU ontvangt en verwerkt die gegevens om de resultaten vervolgens weer naar de CPU te sturen. Dit datapad verbruikt veel meer tijd en energie dan verwacht. Aangezien CPU's en GPU's fysiek van elkaar verwijderd zijn, kunnen de interfaces die voor dataoverdracht worden gebruikt, zoals PCIe (PCI Express), soms de enorme verwerkingssnelheid van de GPU niet bijbenen.

NVIDIA begon de noodzaak van een eigen CPU te voelen die naast de GPU zou kunnen staan, om zo een computeroplossing te bieden die geoptimaliseerd is voor het AI-tijdperk. Hoe goed de GPU ook is, als er geen CPU is die de GPU effectief ondersteunt en snel data kan verzenden en ontvangen, zal de algehele systeemefficiëntie onvermijdelijk afnemen.

3. De introductie van NVIDIA's CPU: De ARM-gebaseerde 'Grace'-processor

NVIDIA heeft ervoor gekozen niet zelf x86 CPU's te ontwikkelen, maar heeft zich gericht op de ARM-architectuur, die uitblinkt in energie-efficiëntie en eenvoudig aan te passen is. In 2022 heeft het bedrijf de 'NVIDIA Grace' CPU gelanceerd, waarmee ze hun toetreding tot de CPU-markt officieel maakten.

NVIDIA's GPU + CPU superchip in actie

  • Gebaseerd op ARM Neoverse: De Grace CPU is ontworpen op basis van de serverkernen van ARM, 'Neoverse'. Dit suggereert dat NVIDIA meer gebruik maakt van de bewezen technologie van ARM dan dat ze zelf de ontwikkeling van CPU-kernen op zich nemen, met het oog op een snelle markttoetreding.

  • Kern van de 'superchip'-strategie: De ware kracht van de Grace CPU komt niet alleen tot uiting in de prestaties als standalone CPU, maar ook wanneer deze samenwerkt met NVIDIA's GPU in de vorm van een 'superchip'.

    • Grace Hopper Superchip: Een product dat de Grace CPU verbindt met de krachtige H100 Hopper GPU via een ultrahoge snelheidsverbinding genaamd NVLink-C2C. Deze verbinding biedt een veel hoger bandbreedte (meer dan 900GB per seconde) dan traditionele PCIe, waardoor de dataoverdracht tussen CPU en GPU wordt geoptimaliseerd.

    • Grace Blackwell Superchip: Een samenwerking tussen de nieuwste Blackwell GPU-architectuur en de Grace CPU, ontworpen voor de volgende generatie AI- en HPC (high-performance computing) workloads.

Deze 'superchip'-strategie laat zien dat NVIDIA van plan is een op maat gemaakte CPU aan te bieden die geoptimaliseerd is voor GPU-berekeningen, waarmee ze een veel efficiënter en krachtiger geïntegreerd systeem willen bouwen dan wanneer men een x86 CPU en een NVIDIA GPU apart zou gebruiken.

4. Veranderende verhoudingen op de CPU-markt en toekomstperspectieven

De introductie van NVIDIA's Grace CPU creëert een nieuwe concurrentiedynamiek op de CPU-markt, die voorheen verdeeld was tussen x86 (Intel, AMD) en ARM (Qualcomm, Apple, enz.).

  • Geoptimaliseerd voor het AI-tijdperk: NVIDIA richt zich niet op de algemene CPU-markt, maar op datacenter-CPU's die specifiek zijn afgestemd op AI- en HPC-workloads. Dit is een strategie om te voldoen aan de explosieve groei van de AI-computingvraag wereldwijd.

  • Concurrentie en samenwerking: Intel en AMD bevinden zich in een complexe relatie, waarbij ze concurreren op de AI-versnellersmarkt, maar tegelijk ook x86 CPU's moeten blijven ontwikkelen die goed werken met NVIDIA's GPU's. Geruchten gaan dat NVIDIA in sommige gevallen gebruik zou kunnen maken van de foundry-diensten van Intel, wat een verscheidenheid aan samenwerkings- en concurrentiemodellen voor technologieontwikkeling en marktpositionering naar voren brengt.

  • Het belang van geïntegreerde oplossingen: In de toekomst zal niet alleen de prestatie van individuele componenten belangrijk zijn, maar ook hoe goed CPU's, GPU's, geheugen en interconnecten organisch zijn geïntegreerd om optimale prestaties voor specifieke workloads te leveren. NVIDIA's 'superchip'-strategie is een representatief voorbeeld van deze geïntegreerde oplossingen.

Conclusie

Vandaag hebben we onderzocht waarom de reus op de GPU-markt, NVIDIA, is gaan concurreren op de CPU-markt, en hoe ze via de 'Grace' CPU en de superchip-strategie het paradigma van computing in het AI-tijdperk willen veranderen. We kunnen zien dat CPU's en GPU's niet alleen elkaars rol aanvullen, maar nu ook in toenemende mate worden geïntegreerd en samengevoegd.

Het zal interessant zijn om te volgen welke resultaten en veranderingen NVIDIA's CPU-uitdaging met zich meebrengt, hoe de bestaande x86-krachten zullen reageren, en wat de uiteindelijke toekomst voor AI-computing zal zijn. In de volgende post zullen we terugkomen met een ander interessant technisch verhaal. Bedankt!