GPU Blackwell B200 untuk AI Generatif - NVIDIA GTC 2024
AI Generatif saat ini menjadi topik terpanas di industri teknologi, dengan AI yang berpusat pada model bahasa besar yang menyebar ke hampir semua sektor. Transformasi seperti apa yang akan dialami industri chip selanjutnya? Didorong oleh kegilaan AI, perusahaan teknologi besar semuanya berlomba untuk merebut pasar baru ini. Menyediakan daya komputasi untuk memenuhi tuntutan baru AI Generatif adalah mata rantai yang paling penting, dan inilah yang sedang dilakukan NVIDIA.
Dalam waktu 15 bulan, nilai pasar NVIDIA melonjak enam kali lipat hingga melampaui US$2,2 triliun, menjadikannya perusahaan teknologi terbesar ketiga di dunia setelah Apple dan Microsoft, dan terus tumbuh. Untuk memperkuat posisi pasarnya sebagai pemasok pilihan bagi perusahaan kecerdasan buatan, Nvidia merilis arsitektur GPU Blackwell generasi baru untuk menjalankan model kecerdasan buatan di GTC 2024. Selain itu, perusahaan akan memperluas rantai industri hilirnya melalui NIM dan Omniverse.
Dalam pidato pembukaan selama dua jam, pendiri NVIDIA, Jensen Huang, memperlihatkan kepada dunia tentang mesin baru NVIDIA: perangkat keras, perangkat lunak, dan layanan di bawah arsitektur komputasi baru.
• Arsitektur GPU Blackwell yang baru dan 'Superchip' GB200 akan memberikan kinerja pelatihan 4 kali lipat dibandingkan Hopper, dengan parameter model besar yang mencapai tingkat triliunan.
• Perangkat lunak inovatif NIM memudahkan perusahaan untuk menyesuaikan model berukuran besar pada platform NVIDIA.
• Omniverse Cloud mengintegrasikan pelatihan dan penerapan robotika, pengemudian otonom, dan kembaran digital dalam satu platform.
• Perangkat lunak pengembangan model kustom Nemo, dan pabrik AI.
GPU Blackwell B200 dan GB200
Blackwell dinamai berdasarkan nama matematikawan David Harold Blackwell. Ini adalah generasi baru arsitektur GPU yang mengikuti arsitektur Hopper. GB200 adalah chip berbasis Blackwell pertama dan akan tersedia pada akhir tahun ini.
GPU Blackwell akan tersedia sebagai GPU mandiri, atau dua GPU Blackwell dapat digabungkan dan dipasangkan dengan CPU Grace Nvidia untuk menciptakan Superchip, yaitu GB200.
GB200 menghubungkan dua GPU B200 ke CPU Grace melalui interkoneksi antar-chip berdaya sangat rendah 900GB/s. Nvidia mengatakan sistem ini dapat menerapkan model dengan 27 triliun parameter. CPT-4 dilaporkan memiliki 1,7 triliun parameter.
Untuk mencapai performa AI ultra-tinggi, sistem yang dilengkapi dengan GB200 dapat terhubung ke platform NVIDIA Quantum-X800 InfiniBand dan Spectrum-X800 Ethernet. Kedua platform tersebut menyediakan jaringan berkinerja tinggi dengan kecepatan hingga 800Gb/s.
Nvidia menyatakan bahwa GB200 memberikan peningkatan kinerja 30 kali lipat untuk beban kerja inferensi dibandingkan dengan GPU H100 saat ini.
Selain itu, Nvidia juga merilis GB200 NVL72 pendingin cair.DIPIMPIN Sistem rak ini terdiri dari 36 set CPU Grace dan 72 set GPU Blackwell. Pada GB200 NVL72, daya komputasi inferensi dapat mencapai 1440 PFLOPS, dan volume transmisi maksimum dapat mencapai 260 TB per detik. Selain itu, daya komputasi pelatihan presisi FP8 dapat mencapai 720 PFLOPS, yang hampir setara dengan klaster superkomputer.
GPU Blackwell dan superchip GB200 akan diperkenalkan ke dalam platform cloud sistem NVIDIA DGX B200 untuk pelatihan model, penyempurnaan, dan inferensi. Semua platform NVIDIA DGX menyertakan perangkat lunak NVIDIA AI Enterprise untuk pengembangan dan penerapan tingkat perusahaan.
Jensen Huang mengatakan bahwa Nvidia berencana menggunakan Blackwell untuk memasuki perusahaan kecerdasan buatan di seluruh dunia di masa mendatang, dan menandatangani kontrak dengan semua OEM, cloud regional, AI nasional, dan perusahaan telekomunikasi.
Amazon, Dell, Google, Meta, Microsoft, OpenAI, dan Tesla semuanya berencana untuk menggunakan GPU Blackwell.
NIM (Nvidia Inference Microservice)
Jika suatu perusahaan ingin menggunakan model berskala besar, biasanya diperlukan penyesuaian dan penerapan yang diprivatisasi untuk membantu bisnisnya. Pada konferensi ini, Nvidia meluncurkan layanan kustomisasi modelnya, NIM (Nvidia Inference Microservice).
Pertama-tama, kotak digital ini memiliki berbagai model terkait yang dapat dipilih, termasuk model open-source Llama dari para mitranya. Menurut NVIDIA, model-model tersebut telah dioptimalkan berdasarkan perangkat keras NVIDIA. Baik perangkat keras tersebut berupa laptop dengan hanya satu CPU atau perangkat kelas perusahaan dengan beberapa node GPU, keduanya dapat digunakan secara langsung.
Selain itu, teknologi ini membantu pengguna menyempurnakan model yang besar. Misalnya, teknologi NVIDIA NeMo Retriever yang diumumkan oleh NVIDIA pada November 2023 terintegrasi ke dalam seluruh layanan mikro, dan dapat membantu perusahaan mengaktifkan fungsi RAG. Selain itu, teknologi ini juga mencakup Lemo retriever untuk membantu pengambilan informasi dengan cepat, layanan mikro manusia digital untuk membantu pengguna menciptakan manusia digital, dan sebagainya.
Dalam aplikasi medis, NVIDIA telah meluncurkan 25 layanan mikro baru berdasarkan skenario medis untuk membantu perusahaan perawatan kesehatan global meningkatkan efisiensi berdasarkan AI generatif. Layanan mikro ini mencakup berbagai model penemuan obat, termasuk MoIMIM untuk kimia generatif, ESMFold untuk prediksi struktur protein, dan DiffDock untuk membantu peneliti memahami bagaimana molekul obat berinteraksi dengan target.
Perusahaan di industri perawatan kesehatan dapat menggunakan layanan mikro ini untuk menyaring triliunan senyawa obat, mengumpulkan lebih banyak data pasien untuk membantu deteksi dini penyakit, atau menerapkan asisten digital yang lebih cerdas, dan lain sebagainya.
NVIDIA memberikan contoh di mana layanan mikro NVIDIA dapat mempercepat pemanggilan varian dalam alur kerja analisis genom lebih dari 50 kali lipat dibandingkan dengan berjalan pada CPU. Beberapa perusahaan rintisan telah membangun platform dialog klinis medis yang didorong oleh kecerdasan buatan. Platform ini akan mengobrol dengan pasien melalui telepon untuk mengatur janji temu, janji temu pra-operasi, tindak lanjut setelah keluar dari rumah sakit, dll., yang akan sangat mengurangi masalah kekurangan staf yang meluas dan meningkatkan hasil perawatan pasien. Hal ini juga menghemat waktu dokter hingga tiga jam.
Saat ini, hampir 50 penyedia aplikasi di seluruh dunia menggunakan layanan mikro medis NVIDIA.
Omniverse - Gudang Digital dan Robot
Omniverse adalah platform terpadu sejati untuk grafis komputer, kecerdasan buatan, komputasi teknologi, dan simulasi fisik yang dikuasai NVIDIA. Platform ini mampu menciptakan kembaran digital 1:1 dari lingkungannya. Nvidia membangun Isaac Lab, aplikasi pembelajaran robot untuk pelatihan pada simulator Omniverse Isaac. Dengan layanan orkestrasi komputasi baru, robot dapat dilatih dalam simulasi berbasis fisika dan dimigrasikan ke lingkungan dunia nyata tanpa pelatihan tambahan.
Jensen Huang mengumumkan Proyek GR00T, yang merupakan model dasar umum untuk robot humanoid guna mengembangkan robot produksi berdasarkan Jetson Thor.
NVIDIA juga memamerkan sebuah studi kasus gudang digital: lingkungan simulasi Omniverse untuk gudang seluas 100.000 kaki persegi, yang mengintegrasikan video berjalan, AMR pekerja digital dengan tumpukan persepsi Isaac, dan peta aktivitas terpusat dari seluruh gudang dari 100 kamera simulasi yang dipasang di langit-langit.
Dalam video tersebut, ketika rute yang direncanakan untuk AMR (Autonomous Mobile Robot) pekerja digital terhalang, NVIDIA Metropolis dapat mengubah perencanaan jalur secara real-time. Melalui model dasar visi Metropolis berbasis AI generatif, operator bahkan dapat menggunakan bahasa alami untuk mengajukan pertanyaan guna memahami situasi tersebut.
NVIDIA mengumumkan pembuatan API untuk Omniverse Cloud, yang akan sangat ramah pengguna dan mampu mendukung AI. Misalnya, API ini dapat membuat gambar 3D lingkungan simulasi langsung dari deskripsi adegan dalam bahasa alami.
Selain itu, NVIDIA mengumumkan kemitraan dengan Vision Pro, yang memungkinkan Omniverse Cloud untuk melakukan streaming ke Vision Pro.
Platform Komputasi Onboard DRIVE Thor
Dibandingkan dengan generasi sebelumnya, DRIVE Orin, DRIVE Thor akan menawarkan performa kokpit otonom yang lebih kaya fitur. Perangkat ini mengintegrasikan arsitektur NVIDIA Blackwell terbaru, yang dirancang khusus untuk beban kerja Transformer, LLM, dan AI generatif.
Kolaborasi BYD dengan NVIDIA meluas dari otomotif hingga komputasi awan. Selain membangun armada kendaraan listrik generasi berikutnya di atas DRIVE Thor, BYD juga berencana menggunakan infrastruktur AI NVIDIA untuk pengembangan dan pelatihan teknologi AI berbasis cloud. Produsen seperti GAC dan XPeng juga telah mengindikasikan bahwa mereka akan menggunakan platform komputasi onboard DRIVE Thor.
Aplikasi Komunikasi & Iklim - Platform Cloud Kembaran Digital
Di industri komunikasi, NVIDIA telah meluncurkan platform cloud riset 6G. Berdasarkan platform ini, perusahaan komunikasi dapat secara akurat mensimulasikan medan fisik dan struktur buatan manusia, sehingga meningkatkan keandalan transmisi nirkabel. Mitra-mitranya termasuk Nokia dan Samsung.
Selain itu, NVIDIA telah memperkenalkan platform cloud kembaran digital iklim Earth-2 untuk mensimulasikan dan memvisualisasikan cuaca. Tidak seperti pemodelan tradisional yang digerakkan oleh CPU, Earth-2 dapat memberikan peringatan dan prakiraan terbaru kepada pengguna jauh lebih cepat, hanya dalam beberapa detik. Lebih lanjut, citra iklim yang dihasilkannya memiliki resolusi 12,5 kali lebih tinggi daripada model numerik saat ini, 1000 kali lebih cepat, dan memiliki efisiensi energi 3000 kali lebih tinggi, sehingga memperbaiki ketidakakuratan prediksi resolusi rendah.
Jensen Huang juga memperkenalkan studi kasus praktis. Misalnya, Biro Cuaca Pusat Taiwan berencana menggunakan model ini untuk memprediksi lokasi pendaratan topan dengan lebih tepat, mengevakuasi orang lebih awal, dan mengurangi korban jiwa.
NVIDIA juga mengumumkan bahwa superkomputer ABCI-Q baru buatan Jepang akan didukung oleh platform akselerasi dan komputasi kuantum NVIDIA. Superkomputer ini, yang didukung oleh lebih dari 2000 GPU NVIDIA H100 di lebih dari 500 node, adalah satu-satunya platform komputasi dalam jaringan yang sepenuhnya dapat di-offload di dunia dan diharapkan akan digunakan pada awal tahun depan.
Di era sekarang, di mana 'AI generatif' mewakili masa depan, semua orang ingin mengikuti tren. Pada konferensi GTC 2024, lebih dari 10.000 orang menyaksikan Keynote secara langsung, dengan lebih dari 900 sesi dan seratus peserta pameran. Selain Apple, NVIDIA adalah salah satu dari sedikit perusahaan yang dapat mengubah teknologi menjadi sesuatu yang ingin didekati semua orang. Sejalan dengan tren zaman, sementara NVIDIA menyediakan daya komputasi untuk AI masa depan, perusahaan ini juga menjadi penerima manfaat terbesar, dan diperkirakan akan menjadi perusahaan dengan nilai pasar tertinggi di dunia.