Blackwell B200 GPU voor generatieve AI - NVIDIA GTC 2024

Generatieve AI is momenteel hét gespreksonderwerp in de technologiebranche, waarbij AI rondom grote taalmodellen een enorme impact heeft op vrijwel alle sectoren. Welke transformatie zal de chipindustrie hierna ondergaan? Gedreven door de AI-hype strijden grote technologiebedrijven allemaal om deze nieuwe markt te veroveren. Het leveren van de rekenkracht die nodig is om aan de nieuwe eisen van Gen AI te voldoen, is de meest cruciale schakel, en dat is precies wat NVIDIA doet.

Binnen 15 maanden steeg de marktwaarde van NVIDIA zesvoudig tot meer dan 2,2 biljoen dollar, waarmee het na Apple en Microsoft het derde grootste technologiebedrijf ter wereld werd, en de groei zet zich voort. Om zijn marktpositie als voorkeursleverancier voor bedrijven in de kunstmatige intelligentie te verstevigen, introduceerde NVIDIA tijdens GTC 2024 een nieuwe generatie Blackwell GPU-architectuur voor het uitvoeren van AI-modellen. Daarnaast zal het zijn toeleveringsketen verder uitbreiden via NIM en Omniverse.

Tijdens de twee uur durende openingstoespraak liet NVIDIA-oprichter Jensen Huang de wereld kennismaken met NVIDIA's nieuwe engine: hardware, software en diensten onder de nieuwe computerarchitectuur.

• De nieuwe Blackwell GPU-architectuur en de GB200 'Superchip' zullen vier keer de trainingsprestaties van Hopper leveren, met grote modelparameters die tot in de biljoenen kunnen oplopen.
• De innovatieve NIM-software maakt het voor bedrijven eenvoudiger om grote modellen op het NVIDIA-platform aan te passen.
• Omniverse Cloud integreert de training en toepassing van robotica, autonoom rijden en digitale tweelingen in één platform.
• Software voor het ontwikkelen van aangepaste modellen, Nemo, en AI Factory.

 

Blackwell B200 GPU en GB200

Blackwell is vernoemd naar de wiskundige David Harold Blackwell. Het is een nieuwe generatie GPU-architectuur die de Hopper-architectuur opvolgt. De GB200 is de eerste chip gebaseerd op de Blackwell-architectuur en zal eind dit jaar beschikbaar komen.

 

 

Blackwell GPU's zullen verkrijgbaar zijn als losse GPU's, maar twee Blackwell GPU's kunnen ook gecombineerd worden met Nvidia's Grace CPU om een ​​Superchip te creëren, de GB200.

De GB200 verbindt twee B200 GPU's met de Grace CPU via een ultralaag energieverbruikende interchipverbinding van 900 GB/s. Nvidia zegt dat het systeem modellen met 27 biljoen parameters kan verwerken. CPT-4 zou naar verluidt 1,7 biljoen parameters hebben.

Om extreem hoge AI-prestaties te bereiken, kunnen systemen die zijn uitgerust met GB200 verbinding maken met NVIDIA Quantum-X800 InfiniBand- en Spectrum-X800 Ethernet-platforms. Beide platforms bieden krachtige netwerkprestaties met snelheden tot 800 Gb/s.

Volgens Nvidia levert de GB200 een 30x betere prestatie voor inferentieworkloads in vergelijking met de huidige H100 GPU.

Daarnaast bracht Nvidia ook de GB200 NVL72 vloeistofgekoelde grafische kaart uit.LED Het racksysteem bestaat uit 36 ​​sets Grace CPU's en 72 sets Blackwell GPU's. Op de GB200 NVL72 kan de inferentie-rekenkracht 1440 PFLOPS bereiken en het maximale transmissievolume 260 TB per seconde. Daarnaast kan de FP8-precisie-trainingsrekenkracht 720 PFLOPS bereiken, wat bijna gelijk is aan een supercomputercluster.

 

 

De Blackwell GPU en de GB200 superchip worden geïntegreerd in het cloudplatform NVIDIA DGX B200 voor modeltraining, finetuning en inferentie. Alle NVIDIA DGX-platforms bevatten NVIDIA AI Enterprise-software voor ontwikkeling en implementatie op bedrijfsniveau.

Jensen Huang zei dat Nvidia van plan is Blackwell in te zetten om in de toekomst wereldwijd toegang te krijgen tot bedrijven in de kunstmatige intelligentie, en contracten te sluiten met alle OEM's, regionale cloudproviders, nationale AI-bedrijven en telecombedrijven.

Amazon, Dell, Google, Meta, Microsoft, OpenAI en Tesla zijn allemaal van plan om Blackwell GPU's te gebruiken.

NIM (Nvidia Inference Microservice)

Als een bedrijf een groot model wil gebruiken, is er meestal behoefte aan fijnafstemming en geprivatiseerde implementatie om de bedrijfsvoering te ondersteunen. Tijdens deze conferentie lanceerde Nvidia zijn modelaanpassingsservice, NIM (Nvidia Inference Microservice).

Allereerst biedt deze digitale box een verscheidenheid aan gerelateerde modellen om uit te kiezen, waaronder open-source Llama-modellen van partners. Volgens NVIDIA zijn deze geoptimaliseerd voor NVIDIA-hardware. Of het nu gaat om een ​​laptop met slechts één CPU of een professionele computer met meerdere GPU-nodes, beide kunnen direct worden gebruikt.

 

 

Bovendien helpt het gebruikers bij het verfijnen van grote modellen. Zo is de NVIDIA NeMo Retriever-technologie, die NVIDIA in november 2023 aankondigde, geïntegreerd in de gehele microservice en kan het bedrijven helpen bij het activeren van RAG-functies. Daarnaast omvat het ook een Lemo Retriever voor het snel ophalen van informatie, microservices voor digitale mensen waarmee gebruikers digitale mensen kunnen creëren, enzovoort.

NVIDIA heeft 25 nieuwe microservices gelanceerd voor medische toepassingen, gebaseerd op medische scenario's, om wereldwijde zorgbedrijven te helpen hun efficiëntie te verbeteren met behulp van generatieve AI. Deze microservices omvatten een reeks modellen voor geneesmiddelenontwikkeling, waaronder MoIMIM voor generatieve chemie, ESMFold voor eiwitstructuurvoorspelling en DiffDock om onderzoekers te helpen begrijpen hoe geneesmiddelmoleculen met hun doelwitten interageren.

 

 

Bedrijven in de gezondheidszorg kunnen deze microservices gebruiken om onder andere triljoenen geneesmiddelen te screenen, meer patiëntgegevens te verzamelen voor vroegtijdige ziekteopsporing of slimmere digitale assistenten te implementeren.

NVIDIA gaf een voorbeeld waarbij de microservices van NVIDIA de variantdetectie in een genoomanalyseworkflow meer dan 50 keer sneller kunnen maken dan wanneer deze op een CPU wordt uitgevoerd. Sommige startups hebben een medisch communicatieplatform ontwikkeld dat wordt aangedreven door kunstmatige intelligentie. Het platform chat met patiënten via de telefoon om afspraken te regelen, zoals preoperatieve afspraken, nazorg na ontslag, enzovoort. Dit zal het wijdverbreide personeelstekort aanzienlijk verlichten en de behandelresultaten voor patiënten verbeteren. Het bespaart artsen bovendien tot wel drie uur.

Momenteel maken bijna 50 applicatieaanbieders wereldwijd gebruik van de medische microservices van NVIDIA.

Omniverse - Digitaal magazijn en robots

Omniverse is een echt geïntegreerd platform voor computergraphics, kunstmatige intelligentie, technologische berekeningen en fysieke simulatie, waar NVIDIA in uitblinkt. Het kan een 1:1 digitale tweeling van de omgeving realiseren. NVIDIA ontwikkelde Isaac Lab, een robotleerapplicatie voor training op de Omniverse Isaac-simulator. Met nieuwe diensten voor compute orchestration kunnen robots worden getraind in op fysica gebaseerde simulaties en zonder verdere training worden overgezet naar de echte wereld.

Jensen Huang kondigde Project GR00T aan, een algemeen basismodel voor humanoïde robots om productierobots te ontwikkelen gebaseerd op Jetson Thor.

 

 

NVIDIA presenteerde ook een voorbeeld van een digitaal magazijn: een Omniverse-simulatieomgeving voor een magazijn van 100.000 vierkante voet, die videobeelden, digitale AMR's voor werknemers met de Isaac-perceptiestack en een gecentraliseerde activiteitenkaart van het hele magazijn integreert, gebaseerd op 100 gesimuleerde, aan het plafond gemonteerde camera's.

 

 

In de video is te zien hoe NVIDIA Metropolis de geplande route van een AMR (Autonomous Mobile Robot) in realtime kan aanpassen wanneer deze geblokkeerd raakt. Dankzij het generatieve, op AI gebaseerde visiemodel van Metropolis kunnen operators zelfs in natuurlijke taal vragen stellen om de situatie te begrijpen.

NVIDIA heeft de ontwikkeling aangekondigd van een API voor Omniverse Cloud, die zeer gebruiksvriendelijk en AI-compatibel zal zijn. Zo kan de API bijvoorbeeld direct 3D-afbeeldingen van simulatieomgevingen genereren op basis van beschrijvingen van scènes in natuurlijke taal.

Bovendien kondigde NVIDIA een samenwerking aan met Vision Pro, waardoor Omniverse Cloud naar Vision Pro kan streamen.

DRIVE Thor Onboard Computing Platform

Vergeleken met de vorige generatie DRIVE Orin biedt DRIVE Thor een rijkere functionaliteit voor autonome cockpits. Het integreert de nieuwe NVIDIA Blackwell-architectuur, die specifiek is ontworpen voor Transformer-, LLM- en generatieve AI-workloads.

 

 

De samenwerking tussen BYD en NVIDIA strekt zich uit van auto's tot de cloud. Naast het bouwen van de volgende generatie elektrische voertuigen op basis van DRIVE Thor, is BYD ook van plan de AI-infrastructuur van NVIDIA te gebruiken voor cloudgebaseerde AI-ontwikkeling en trainingstechnologieën. Fabrikanten zoals GAC en XPeng hebben eveneens aangegeven dat zij het DRIVE Thor-platform voor boordcomputers zullen gebruiken.

Communicatie- en klimaattoepassingen - Cloudplatform voor digitale tweelingen

In de communicatie-industrie heeft NVIDIA een 6G-onderzoekscloudplatform gelanceerd. Op basis van dit platform kunnen communicatiebedrijven fysiek terrein en door de mens gemaakte structuren nauwkeurig simuleren, waardoor de betrouwbaarheid van draadloze transmissie wordt verbeterd. Tot de partners behoren Nokia en Samsung.

Daarnaast heeft NVIDIA het Earth-2 cloudplatform geïntroduceerd, een digitale klimaattweeling voor het simuleren en visualiseren van het weer. In tegenstelling tot traditionele, door de CPU aangedreven modellen, kan Earth-2 gebruikers veel sneller, in slechts enkele seconden, waarschuwingen en actuele voorspellingen leveren. Bovendien hebben de klimaatbeelden die het genereert een resolutie die 12,5 keer hoger is dan die van de huidige numerieke modellen, zijn ze 1000 keer sneller en 3000 keer energiezuiniger, waardoor de onnauwkeurigheden van voorspellingen met een lage resolutie worden gecorrigeerd.

 

 

Jensen Huang presenteerde ook praktische toepassingsvoorbeelden. Zo is het Centraal Meteorologisch Bureau van Taiwan van plan dit model te gebruiken om de precieze landingsplaats van tyfoons te voorspellen, mensen vroegtijdig te evacueren en het aantal slachtoffers te verminderen.

NVIDIA kondigde ook aan dat de nieuwe Japanse ABCI-Q-supercomputer zal worden ondersteund door NVIDIA-acceleratie- en kwantumcomputerplatforms. Deze supercomputer, die meer dan 2000 NVIDIA H100 GPU's bevat, verdeeld over meer dan 500 nodes, is het enige volledig offloadbare in-network computerplatform ter wereld en zal naar verwachting begin volgend jaar in gebruik worden genomen.

In het huidige tijdperk, waarin 'generatieve AI' de toekomst vertegenwoordigt, wil iedereen de trend volgen. Op de GTC-conferentie van 2024 keken meer dan 10.000 mensen live naar de keynote, met meer dan 900 sessies en honderd exposanten. Naast Apple is NVIDIA een van de weinige bedrijven die technologie zo aantrekkelijk kan maken dat iedereen er gebruik van wil maken. NVIDIA levert niet alleen de rekenkracht voor toekomstige AI, maar profiteert er ook zelf het meest van en zal naar verwachting uitgroeien tot het bedrijf met de hoogste marktwaarde ter wereld.