생성형 AI를 위한 블랙웰 B200 GPU - NVIDIA GTC 2024

생성형 AI는 현재 기술 업계에서 가장 뜨거운 화두이며, 대규모 언어 모델을 중심으로 한 AI 기술이 거의 모든 분야에 걸쳐 빠르게 확산되고 있습니다. 칩 산업은 앞으로 어떤 변화를 겪게 될까요? AI 열풍에 힘입어 주요 기술 기업들은 모두 이 새로운 시장을 선점하기 위해 경쟁하고 있습니다. 생성형 AI의 새로운 요구 사항을 충족할 수 있는 컴퓨팅 성능을 제공하는 것이 가장 중요한 과제이며, 바로 이것이 NVIDIA가 하고 있는 일입니다.

엔비디아는 15개월 만에 시가총액이 6배 급증하여 2조 2천억 달러를 돌파하며 애플과 마이크로소프트에 이어 세계 3위의 기술 기업으로 발돋움했고, 현재까지도 성장세를 이어가고 있습니다. 인공지능 기업들이 선호하는 공급업체로서의 시장 입지를 더욱 공고히 하기 위해 엔비디아는 GTC 2024에서 인공지능 모델 구동을 위한 차세대 블랙웰 GPU 아키텍처를 공개했습니다. 또한, NIM과 옴니버스를 통해 하위 산업망을 더욱 확장해 나갈 계획입니다.

2시간 동안 진행된 개막 연설에서 엔비디아 창립자 젠슨 황은 새로운 컴퓨팅 아키텍처 기반의 하드웨어, 소프트웨어 및 서비스를 아우르는 엔비디아의 새로운 엔진을 전 세계에 소개했습니다.

• 새로운 블랙웰 GPU 아키텍처와 GB200 '슈퍼칩'은 Hopper보다 4배 높은 학습 성능을 제공하며, 모델 매개변수가 수조 개에 달하는 대규모 모델도 처리할 수 있습니다.
• 혁신적인 소프트웨어인 NIM은 기업들이 NVIDIA 플랫폼에서 대규모 모델을 더욱 쉽게 맞춤 설정할 수 있도록 지원합니다.
• 옴니버스 클라우드는 로봇 공학, 자율 주행 및 디지털 트윈의 교육과 응용을 하나의 플랫폼에 통합합니다.
• 맞춤형 모델 개발 소프트웨어인 네모(Nemo)와 AI 팩토리(AI Factory).

 

블랙웰 B200 GPU 및 GB200

블랙웰은 수학자 데이비드 해럴드 블랙웰의 이름을 따서 명명되었습니다. 이는 호퍼 아키텍처를 계승하는 차세대 GPU 아키텍처입니다. GB200은 최초의 블랙웰 기반 칩으로, 올해 말 출시될 예정입니다.

 

 

블랙웰 GPU는 독립형 GPU로 제공되거나, 두 개의 블랙웰 GPU를 결합하여 엔비디아의 그레이스 CPU와 함께 슈퍼칩인 GB200을 구성할 수 있습니다.

GB200은 900GB/s의 초저전력 칩 간 연결을 통해 두 개의 B200 GPU를 Grace CPU에 연결합니다. 엔비디아는 이 시스템이 27조 개의 파라미터를 가진 모델을 실행할 수 있다고 밝혔습니다. CPT-4는 1조 7천억 개의 파라미터를 가지고 있는 것으로 알려져 있습니다.

초고성능 AI 구현을 위해 GB200이 탑재된 시스템은 NVIDIA Quantum-X800 InfiniBand 및 Spectrum-X800 이더넷 플랫폼에 연결할 수 있습니다. 두 플랫폼 모두 최대 800Gb/s의 속도로 고성능 네트워킹을 제공합니다.

엔비디아는 GB200이 현재 H100 GPU에 비해 ​​추론 작업 부하에서 30배 향상된 성능을 제공한다고 밝혔습니다.

또한 엔비디아는 GB200 NVL72 액체 냉각 시스템도 출시했습니다.주도의 랙 시스템인 GB200 NVL72는 36개의 Grace CPU와 72개의 Blackwell GPU로 구성됩니다. GB200 NVL72에서 추론 연산 능력은 1440 PFLOPS에 달하며, 최대 전송량은 초당 260TB에 이릅니다. 또한, FP8 정밀도 학습 연산 능력은 720 PFLOPS로, 슈퍼컴퓨터 클러스터와 거의 동등한 수준입니다.

 

 

모델 학습, 미세 조정 및 추론을 위해 블랙웰 GPU와 GB200 슈퍼칩이 클라우드 플랫폼인 NVIDIA DGX B200 시스템에 도입될 예정입니다. 모든 NVIDIA DGX 플랫폼에는 기업 수준의 개발 및 배포를 위한 NVIDIA AI Enterprise 소프트웨어가 포함되어 있습니다.

젠슨 황 엔비디아 CEO는 향후 블랙웰을 활용하여 전 세계 인공지능 기업에 진출하고 모든 OEM, 지역 클라우드 업체, 국가 차원의 AI 기업, 통신 회사와 계약을 체결할 계획이라고 밝혔습니다.

아마존, 델, 구글, 메타, 마이크로소프트, 오픈AI, 테슬라는 모두 블랙웰 GPU를 사용할 계획입니다.

NIM(엔비디아 추론 마이크로서비스)

기업이 대규모 모델을 사용하려면 일반적으로 비즈니스에 도움이 되도록 세밀한 조정과 개별 환경에 맞춘 배포가 필요합니다. 이번 컨퍼런스에서 엔비디아는 이러한 기업을 위한 맞춤형 모델 서비스인 NIM(Nvidia Inference Microservice)을 출시했습니다.

우선, 이 디지털 박스는 파트너사의 오픈 소스 모델인 Llama를 포함하여 다양한 관련 모델을 선택할 수 있습니다. NVIDIA에 따르면, 이 모델들은 NVIDIA 하드웨어에 최적화되어 있습니다. CPU가 하나만 있는 노트북이든, 여러 개의 GPU 노드가 탑재된 기업용 시스템이든 관계없이 바로 사용할 수 있습니다.

 

 

또한, 이 마이크로서비스는 사용자가 대규모 모델을 세밀하게 조정하는 데 도움을 줍니다. 예를 들어, 2023년 11월 NVIDIA에서 발표한 NVIDIA NeMo Retriever 기술이 전체 마이크로서비스에 통합되어 기업이 RAG 기능을 활성화할 수 있도록 지원합니다. 이 외에도 정보의 빠른 검색을 돕는 Lemo Retriever, 사용자가 디지털 휴먼을 생성할 수 있도록 지원하는 디지털 휴먼 마이크로서비스 등이 포함되어 있습니다.

의료 분야에서 NVIDIA는 전 세계 의료 기업들이 생성형 AI를 기반으로 효율성을 향상시킬 수 있도록 의료 시나리오 기반의 새로운 마이크로서비스 25개를 출시했습니다. 이 마이크로서비스에는 생성형 화학을 위한 MoIMIM, 단백질 구조 예측을 위한 ESMFold, 그리고 연구자들이 약물 분자가 표적과 어떻게 상호작용하는지 이해하는 데 도움을 주는 DiffDock 등 다양한 신약 개발 모델이 포함됩니다.

 

 

의료 산업 기업들은 이러한 마이크로서비스를 활용하여 수조 개의 약물 화합물을 검사하고, 조기 질병 발견을 돕기 위해 더 많은 환자 데이터를 수집하거나, 더욱 스마트한 디지털 비서를 구현하는 등 다양한 작업을 수행할 수 있습니다.

NVIDIA는 자사의 마이크로서비스를 사용하면 유전자 분석 워크플로우에서 변이 검출 속도를 CPU에서 실행하는 것보다 50배 이상 향상시킬 수 있다는 사례를 제시했습니다. 일부 스타트업은 인공지능 기반의 의료 임상 대화 플랫폼을 개발했습니다. 이 플랫폼은 환자와 전화로 상담하여 진료 예약, 수술 전 예약, 퇴원 후 관리 등을 진행함으로써 의료진 부족 문제를 크게 완화하고 환자 치료 결과를 개선할 수 있습니다. 또한 의료진의 업무 시간을 최대 3시간까지 절약해 줍니다.

현재 전 세계적으로 약 50개의 애플리케이션 제공업체가 NVIDIA의 의료용 마이크로서비스를 사용하고 있습니다.

옴니버스 - 디지털 창고 및 로봇

옴니버스(Omniverse)는 NVIDIA가 강점을 보이는 컴퓨터 그래픽, 인공지능, 기술 컴퓨팅 및 물리 시뮬레이션을 위한 진정한 통합 플랫폼입니다. 이를 통해 환경의 1:1 디지털 트윈을 구현할 수 있습니다. NVIDIA는 옴니버스 아이작(Isaac) 시뮬레이터에서 학습할 수 있는 로봇 학습 애플리케이션인 아이작 랩(Isaac Lab)을 개발했습니다. 새로운 컴퓨팅 오케스트레이션 서비스를 통해 로봇은 물리 기반 시뮬레이션에서 학습한 후 실제 환경으로 즉시 마이그레이션할 수 있습니다.

젠슨 황은 제트슨 토르를 기반으로 생산 로봇을 개발하기 위한 휴머노이드 로봇의 범용 기본 모델인 프로젝트 GR00T를 발표했습니다.

 

 

NVIDIA는 또한 10만 평방피트 규모의 창고를 위한 Omniverse 시뮬레이션 환경인 디지털 창고 사례를 선보였습니다. 이 환경은 실행 중인 비디오, Isaac 인식 스택을 사용하는 디지털 작업자 AMR, 그리고 100대의 천장 설치형 카메라에서 수집한 데이터를 기반으로 전체 창고의 활동을 중앙 집중식으로 보여주는 지도를 통합합니다.

 

 

영상에서 디지털 작업자 AMR의 계획된 경로가 장애물에 막히면 ​​NVIDIA Metropolis가 실시간으로 경로 계획을 변경할 수 있습니다. 생성형 AI 기반 Metropolis 비전 기반 모델을 통해 운영자는 자연어를 사용하여 상황을 이해하기 위한 질문을 할 수도 있습니다.

NVIDIA는 사용자 친화적이고 AI 기능을 갖춘 Omniverse Cloud용 API 개발을 발표했습니다. 예를 들어, 자연어로 작성된 장면 설명에서 시뮬레이션 환경의 3D 이미지를 직접 생성할 수 있습니다.

또한 NVIDIA는 Vision Pro와의 파트너십을 발표하여 Omniverse Cloud가 Vision Pro로 스트리밍할 수 있도록 지원한다고 밝혔습니다.

DRIVE Thor 온보드 컴퓨팅 플랫폼

이전 세대 DRIVE Orin과 비교하여 DRIVE Thor는 더욱 풍부한 기능을 갖춘 자율 주행 조종석 성능을 제공합니다. 이 제품에는 Transformer, LLM 및 생성형 AI 워크로드에 맞게 특별히 설계된 새로운 NVIDIA Blackwell 아키텍처가 통합되어 있습니다.

 

 

BYD와 NVIDIA의 협력은 자동차에서 클라우드에 이르기까지 폭넓게 이루어지고 있습니다. BYD는 DRIVE Thor 플랫폼을 기반으로 차세대 전기차 라인업을 구축하는 것 외에도 NVIDIA의 AI 인프라를 활용하여 클라우드 기반 AI 개발 및 교육 기술을 도입할 계획입니다. GAC와 XPeng 같은 제조업체들도 DRIVE Thor 온보드 컴퓨팅 플랫폼을 사용할 의사를 밝혔습니다.

통신 및 기후 응용 프로그램 - 디지털 트윈 클라우드 플랫폼

통신 업계에서 엔비디아는 6G 연구 클라우드 플랫폼을 출시했습니다. 이 플랫폼을 기반으로 통신 회사들은 실제 지형과 인공 구조물을 정밀하게 시뮬레이션하여 무선 전송의 신뢰성을 향상시킬 수 있습니다. 엔비디아의 파트너로는 노키아와 삼성 등이 있습니다.

또한 NVIDIA는 날씨 시뮬레이션 및 시각화를 위한 Earth-2 기후 디지털 트윈 클라우드 플랫폼을 출시했습니다. 기존의 CPU 기반 모델링과 달리 Earth-2는 단 몇 초 만에 경고 및 최신 예보를 훨씬 빠르게 제공할 수 있습니다. 뿐만 아니라 Earth-2가 생성하는 기후 이미지는 기존 수치 모델보다 해상도가 12.5배 높고, 처리 속도는 1,000배 빠르며, 에너지 효율은 3,000배 더 높아 저해상도 예측의 부정확성을 개선합니다.

 

 

젠슨 황은 실제 활용 사례도 소개했습니다. 예를 들어, 대만 중앙기상국은 이 모델을 활용하여 태풍의 상륙 지점을 더욱 정확하게 예측하고, 주민들을 조기에 대피시켜 인명 피해를 줄이는 데 사용할 계획입니다.

NVIDIA는 또한 새로운 일본 슈퍼컴퓨터인 ABCI-Q가 NVIDIA 가속 및 양자 컴퓨팅 플랫폼의 지원을 받을 것이라고 발표했습니다. 500개 이상의 노드에 걸쳐 2,000개 이상의 NVIDIA H100 GPU로 지원되는 이 슈퍼컴퓨터는 전 세계에서 유일하게 네트워크 내에서 모든 연산을 오프로드할 수 있는 컴퓨팅 플랫폼이며, 내년 초에 구축될 예정입니다.

'생성형 AI'가 미래를 대표하는 현 시대에 모두가 이 트렌드를 따라잡고자 합니다. 2024년 GTC 컨퍼런스에서는 1만 명이 넘는 사람들이 기조연설을 생중계로 시청했고, 900개가 넘는 세션과 100여 개의 전시업체가 참여했습니다. 애플 외에도 엔비디아는 기술을 누구나 접근하고 싶어하는 무언가로 만들어낼 수 있는 몇 안 되는 기업 중 하나입니다. 시대의 흐름에 발맞춰 엔비디아는 미래 AI에 필요한 컴퓨팅 파워를 제공하는 동시에 최대 수혜자가 되어, 세계 최고 시가총액을 자랑하는 기업으로 성장할 것으로 예상됩니다.