Üretken Yapay Zeka için Blackwell B200 GPU - NVIDIA GTC 2024

Üretken yapay zeka şu anda teknoloji endüstrisindeki en sıcak konu ve büyük dil modelleri etrafında şekillenen yapay zeka neredeyse tüm sektörlere yayılıyor. Çip endüstrisi bundan sonra ne tür bir dönüşüm geçirecek? Yapay zeka çılgınlığının etkisiyle, büyük teknoloji şirketleri bu yeni pazarı ele geçirmek için yarışıyor. Yeni nesil yapay zekanın taleplerini karşılayacak hesaplama gücünü sağlamak en önemli bağlantı noktası ve NVIDIA tam olarak bunu yapıyor.

NVIDIA'nın piyasa değeri 15 ay içinde altı kat artarak 2,2 trilyon ABD dolarını aştı ve Apple ile Microsoft'tan sonra dünyanın üçüncü büyük teknoloji şirketi oldu ve büyümeye devam ediyor. Yapay zeka şirketleri için tercih edilen tedarikçi olarak pazar konumunu sağlamlaştırmak amacıyla Nvidia, GTC 2024'te yapay zeka modellerini çalıştırmak için yeni nesil Blackwell GPU mimarisini piyasaya sürdü. Buna ek olarak, NIM ve Omniverse aracılığıyla alt sektör zincirini daha da genişletecek.

İki saat süren açılış konuşmasında NVIDIA'nın kurucusu Jensen Huang, dünyaya NVIDIA'nın yeni motorunu tanıttı: yeni bilgi işlem mimarisi altında donanım, yazılım ve hizmetler.

• Yeni Blackwell GPU mimarisi ve GB200 'Süperçip', trilyon seviyesine ulaşan büyük model parametreleriyle Hopper'a kıyasla 4 kat daha yüksek eğitim performansı sağlayacak.
• Yenilikçi NIM yazılımı, şirketlerin NVIDIA platformunda büyük modelleri özelleştirmesini kolaylaştırıyor.
• Omniverse Cloud, robotik, otonom sürüş ve dijital ikizlerin eğitimini ve uygulamasını tek bir platformda birleştiriyor.
• Özel model geliştirme yazılımı Nemo ve yapay zeka fabrikası.

 

Blackwell B200 GPU ve GB200

Blackwell, adını matematikçi David Harold Blackwell'den almıştır. Hopper mimarisini takip eden yeni nesil bir GPU mimarisidir. GB200, Blackwell tabanlı ilk çiptir ve bu yılın sonuna kadar piyasaya sürülecektir.

 

 

Blackwell GPU'lar bağımsız GPU'lar olarak veya iki Blackwell GPU'nun birleştirilip Nvidia'nın Grace CPU'su ile eşleştirilerek GB200 adlı bir Süperçip oluşturmak üzere satışa sunulacak.

GB200, iki adet B200 GPU'yu 900 GB/s ultra düşük güç tüketimli çipler arası bağlantı üzerinden Grace CPU'ya bağlıyor. Nvidia, sistemin 27 trilyon parametreye sahip modelleri işleyebileceğini söylüyor. CPT-4'ün ise 1,7 trilyon parametreye sahip olduğu belirtiliyor.

Ultra yüksek yapay zeka performansı elde etmek için, GB200 ile donatılmış sistemler NVIDIA Quantum-X800 InfiniBand ve Spectrum-X800 Ethernet platformlarına bağlanabilir. Her iki platform da 800 Gb/s'ye kadar hızlarda yüksek performanslı ağ iletişimi sağlar.

Nvidia, GB200'ün mevcut H100 GPU'ya kıyasla çıkarım iş yüklerinde performansta 30 katlık bir iyileşme sağladığını söylüyor.

Ek olarak, Nvidia ayrıca GB200 NVL72 sıvı soğutmalı ekran kartını da piyasaya sürdü.NEDEN OLMUŞ Raf sistemi, 36 adet Grace CPU ve 72 adet Blackwell GPU'dan oluşmaktadır. GB200 NVL72'de, çıkarım hesaplama gücü 1440 PFLOPS'a, maksimum veri aktarım hacmi ise saniyede 260 TB'a ulaşabilmektedir. Ayrıca, FP8 hassas eğitim hesaplama gücü 720 PFLOPS'a ulaşarak neredeyse bir süper bilgisayar kümesine eşdeğer bir performans sunmaktadır.

 

 

Blackwell GPU ve GB200 süperçipi, model eğitimi, ince ayar ve çıkarım için bulut platformu NVIDIA DGX B200 sistemine entegre edilecek. Tüm NVIDIA DGX platformları, kurumsal düzeyde geliştirme ve dağıtım için NVIDIA AI Enterprise yazılımını içerir.

Jensen Huang, Nvidia'nın gelecekte Blackwell'i kullanarak dünya çapındaki yapay zeka şirketlerine girmeyi ve tüm OEM'ler, bölgesel bulut sağlayıcıları, ulusal bağımsız yapay zeka şirketleri ve telekomünikasyon şirketleriyle sözleşmeler imzalamayı planladığını söyledi.

Amazon, Dell, Google, Meta, Microsoft, OpenAI ve Tesla'nın tamamı Blackwell GPU'larını kullanmayı planlıyor.

NIM (Nvidia Çıkarım Mikroservisi)

Bir işletme büyük bir model kullanmak istiyorsa, genellikle işine yardımcı olması için ince ayar ve özelleştirilmiş dağıtıma ihtiyaç duyar. Bu konferansta Nvidia, model özelleştirme hizmeti olan NIM'i (Nvidia Inference Microservice) tanıttı.

Öncelikle, bu dijital kutunun, ortaklarından gelen açık kaynaklı Llama modelleri de dahil olmak üzere, aralarından seçim yapabileceğiniz çeşitli ilgili modelleri bulunmaktadır. NVIDIA'ya göre, bunlar NVIDIA donanımına göre optimize edilmiştir. Donanım ister tek işlemcili bir dizüstü bilgisayar olsun, ister birden fazla GPU düğümüne sahip şirket düzeyinde bir bilgisayar olsun, her ikisi de doğrudan kullanılabilir.

 

 

Ayrıca, kullanıcıların büyük modelleri hassas bir şekilde ayarlamalarına yardımcı olur. Örneğin, NVIDIA'nın Kasım 2023'te duyurduğu NVIDIA NeMo Retriever teknolojisi, tüm mikro hizmete entegre edilmiştir ve işletmelerin RAG işlevlerini etkinleştirmesine yardımcı olabilir. Bunun yanı sıra, hızlı bilgi alma konusunda yardımcı olan bir Lemo retriever, kullanıcıların dijital insan oluşturmasına yardımcı olan dijital insan mikro hizmetleri ve benzerlerini de içerir.

Tıbbi uygulamalar alanında NVIDIA, küresel sağlık şirketlerinin üretken yapay zekâya dayalı verimliliklerini artırmalarına yardımcı olmak için tıbbi senaryolara dayalı 25 yeni mikro hizmet başlattı. Bu mikro hizmetler arasında, üretken kimya için MoIMIM, protein yapısı tahmini için ESMFold ve araştırmacıların ilaç moleküllerinin hedeflerle nasıl etkileşim kurduğunu anlamalarına yardımcı olan DiffDock gibi çeşitli ilaç keşif modelleri yer alıyor.

 

 

Sağlık sektörü şirketleri, bu mikro hizmetleri kullanarak trilyonlarca ilaç bileşiğini tarayabilir, erken hastalık teşhisine yardımcı olmak için daha fazla hasta verisi toplayabilir veya daha akıllı dijital asistanlar uygulayabilirler.

NVIDIA, mikroservislerinin bir genom analizi iş akışında varyant belirleme işlemini CPU üzerinde çalışmaya kıyasla 50 kattan fazla hızlandırabileceği bir örnek verdi. Bazı girişimler, yapay zekâ tarafından yönlendirilen bir tıbbi klinik diyalog platformu geliştirdi. Platform, hastalarla telefon üzerinden görüşerek randevuları, ameliyat öncesi randevuları, taburculuk sonrası takibi vb. ayarlayacak; bu da yaygın personel eksikliği sorununu büyük ölçüde hafifletecek ve hasta tedavi sonuçlarını iyileştirecektir. Ayrıca klinisyenlere üç saate kadar zaman kazandıracaktır.

Şu anda dünya genelinde yaklaşık 50 uygulama sağlayıcısı NVIDIA'nın tıbbi mikro hizmetlerini kullanıyor.

Omniverse - Dijital Depo ve Robotlar

Omniverse, NVIDIA'nın uzman olduğu bilgisayar grafikleri, yapay zeka, teknolojik hesaplama ve fiziksel simülasyon için gerçekten birleşik bir platformdur. Ortamın 1:1 dijital ikizini oluşturabilir. NVIDIA, Omniverse Isaac simülatöründe eğitim için bir robot öğrenme uygulaması olan Isaac Lab'ı geliştirdi. Yeni hesaplama düzenleme hizmetleriyle, robotlar fizik tabanlı simülasyonlarda eğitilebilir ve sıfır atışla gerçek dünya ortamlarına aktarılabilir.

Jensen Huang, Jetson Thor'u temel alan üretim robotları geliştirmek için insansı robotlar için genel bir temel model olan GR00T Projesi'ni duyurdu.

 

 

NVIDIA ayrıca dijital bir depo örneği de sergiledi: 100.000 metrekarelik bir depo için Omniverse simülasyon ortamı; bu ortam, çalışan videoları, Isaac algılama yığınına sahip dijital işçi AMR'lerini ve tavana monte edilmiş 100 simüle edilmiş kameradan elde edilen tüm deponun merkezi aktivite haritasını entegre ediyor.

 

 

Videoda, dijital bir AMR işçisinin planlanan rotası engellendiğinde, NVIDIA Metropolis gerçek zamanlı olarak yol planlamasını değiştirebiliyor. Üretken yapay zeka tabanlı Metropolis görüş temel modeli sayesinde, operatörler durumu anlamak için doğal dil kullanarak sorular sorabiliyor.

NVIDIA, Omniverse Cloud için oldukça kullanıcı dostu ve yapay zeka özelliklerine sahip bir API oluşturduğunu duyurdu. Örneğin, doğal dildeki sahne açıklamalarından doğrudan simülasyon ortamlarının 3 boyutlu görüntülerini oluşturabiliyor.

Ayrıca NVIDIA, Omniverse Cloud'un Vision Pro'ya yayın yapmasını sağlayacak bir ortaklık duyurdu.

DRIVE Thor Yerleşik Bilgi İşlem Platformu

Önceki nesil DRIVE Orin'e kıyasla, DRIVE Thor daha zengin özelliklere sahip otonom kokpit performansı sunacak. Özellikle Transformer, LLM ve üretken yapay zeka iş yükleri için tasarlanmış yeni NVIDIA Blackwell mimarisini entegre ediyor.

 

 

BYD'nin NVIDIA ile iş birliği otomobillerden bulut bilişime kadar uzanıyor. BYD, DRIVE Thor platformu üzerinde yeni nesil elektrikli araç filoları oluşturmanın yanı sıra, NVIDIA'nın yapay zeka altyapısını bulut tabanlı yapay zeka geliştirme ve eğitim teknolojileri için de kullanmayı planlıyor. GAC ve XPeng gibi üreticiler de DRIVE Thor araç içi bilgi işlem platformunu kullanacaklarını belirtmişlerdir.

İletişim ve İklim Uygulamaları - Dijital İkiz Bulut Platformu

İletişim sektöründe NVIDIA, 6G araştırma bulut platformunu kullanıma sundu. Bu platform sayesinde iletişim şirketleri, fiziksel araziyi ve insan yapımı yapıları hassas bir şekilde simüle ederek kablosuz iletimin güvenilirliğini artırabiliyor. Ortakları arasında Nokia ve Samsung yer alıyor.

Ayrıca NVIDIA, hava durumunu simüle etmek ve görselleştirmek için Earth-2 iklim dijital ikiz bulut platformunu tanıttı. Geleneksel CPU tabanlı modellemenin aksine, Earth-2 kullanıcılara uyarıları ve güncellenmiş tahminleri çok daha hızlı, sadece birkaç saniye içinde sağlayabiliyor. Dahası, ürettiği iklim görüntüleri mevcut sayısal modellerden 12,5 kat daha yüksek çözünürlüğe sahip, 1000 kat daha hızlı ve 3000 kat daha fazla enerji verimliliğine sahip olup, düşük çözünürlüklü tahminlerin yanlışlıklarını düzeltiyor.

 

 

Jensen Huang ayrıca pratik kullanım örneklerini de tanıttı. Örneğin, Tayvan Merkezi Meteoroloji Bürosu bu modeli tayfunların iniş yerini daha kesin olarak tahmin etmek, insanları erken tahliye etmek ve can kayıplarını azaltmak için kullanmayı planlıyor.

NVIDIA ayrıca, yeni Japon ABCI-Q süper bilgisayarının NVIDIA hızlandırma ve kuantum hesaplama platformları tarafından destekleneceğini duyurdu. 500'den fazla düğümde 2000'den fazla NVIDIA H100 GPU tarafından desteklenen bu süper bilgisayar, dünyadaki tek tamamen ağ içi işlem gücü aktarımına olanak sağlayan hesaplama platformudur ve önümüzdeki yılın başlarında devreye alınması bekleniyor.

Günümüzde, 'üretken yapay zeka'nın geleceği temsil ettiği bir çağda, herkes bu trende ayak uydurmak istiyor. 2024 GTC konferansında, 900'den fazla oturum ve yüzlerce katılımcıyla birlikte, 10.000'den fazla kişi açılış konuşmasını canlı olarak izledi. Apple'ın yanı sıra, NVIDIA da teknolojiyi herkesin ulaşmak istediği bir şeye dönüştürebilen birkaç şirketten biri. Çağın trendine uygun olarak, NVIDIA geleceğin yapay zekası için işlem gücü sağlarken, aynı zamanda en büyük faydalanıcısı oluyor ve dünyanın en yüksek piyasa değerine sahip şirketi olması bekleniyor.