엔비디아(NVIDIA) 젠슨황(Jensen Huang) CEO가 컴퓨텍스(COMPUTEX) 기조연설을 통해 다룬 내용은 방대하다. 기업이 광고에서 제조, 통신에 이르기까지 산업을 변화시키는 역사적인 생성형 AI 열풍에 편승할 수 있는 플랫폼을 열거했다.
젠슨 황은 무대에 올라 “우리가 돌아왔다”고 선언함과 동시에 가속 컴퓨팅 서비스, 소프트웨어, 시스템에 대해 약 3,500명의 청중을 상대로 2시간가량 대담을 이어갔다.
"우리는 이제 전 세계 거의 모든 컴퓨팅 및 클라우드 기업이 채택한 가속 컴퓨팅과 AI를 통해 새로운 컴퓨팅 시대의 전환점에 서 있다"며, 4만 개 대기업과 1만 5천 개 스타트업이 엔비디아 기술을 사용하고 있으며 작년에만 2,500만 건의 CUDA 소프트웨어 다운로드가 이루어졌다고 발표했다.
◇ 엔터프라이즈 AI 엔진
궁극의 AI 성능이 필요한 기업을 대상으로 DGX GH200을 공개했다. 엔비디아 NVLink를 사용해 최대 256개 엔비디아 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchip)을 데이터 센터 크기의 단일 GPU로 결합한 결과물이다.
생산 절차에 돌입한 GH200 슈퍼칩은 그레이스 CPU와 H100 텐서 코어(Tensor Core) GPU가 하나의 형태로 결합됐다. 그 결과 성능은 단일 엔비디아 DGX A100 320GB 시스템 대비 약 500배 더 높은 엑사플롭 성능과 144테라바이트 공유 메모리를 제공한다.
이의 환경에서는 생성형 AI 챗봇을 위한 대규모 언어 모델, 추천 시스템을 위한 복잡한 알고리즘, 사기 탐지와 데이터 분석에 사용되는 그래프 신경망을 구축할 수 있다.
엔비디아 진영의 구글 클라우드(Google Cloud), 메타(Meta), 마이크로소프트(Microsoft)는 해당 하드웨어의 도입을 밝혔는데, 이들 회사가 주목한 것은 DGX GH200 AI 슈퍼컴퓨터가 생성형 AI에 1엑사플롭 성능을 제공한다는 명제다.
젠슨 황은 "DGX GH200 AI 슈퍼컴퓨터는 엔비디아 가속 컴퓨팅과 네트워킹 기술을 통합해 AI의 경계를 확장한다"고 강조했다.
이의 사례로 자체 대규모 AI 슈퍼컴퓨터인 엔비디아 헬리오스(NVIDIA Helios)를 구축하고 올해 중 가동을 예고했다.
이것이 다가 아니다. 모듈식 참조 아키텍처인 엔비디아 MGX도 발표했다.
MGX를 통해 제조업체는 공통 아키텍처와 모듈식 구성 요소를 사용해 CPU와 가속 서버를 구축할 수 있다. 해당 환경에서는 공냉식 및 수냉식 쿨링 솔루션에 엔비디아 GPU, CPU, 데이터 처리 장치(DPU), 네트워크 어댑터 전 라인과 x86 및 Arm 프로세서가 구동된다.
이르면 오는 8월 MGX 설계를 적용 첫 상용 서비스가 QCT와 슈퍼마이크로(Supermicro)를 통해 전개된다. 현장에서 공개된 슈퍼마이크로의 ARS-221GL-NR 시스템은 그레이스 CPU를 사용하며, QCT S74G-2U 시스템은 그레이스 호퍼를 사용했다.
애즈락랙(ASRock Rack), 에이수스(ASUS), 기가바이트(GIGABYTE), 페가트론(Pegatron)도 MGX 진영을 지지하고 차세대 가속 컴퓨터를 구축을 선언했다.
엔비디가 현장에서 발표한 기술은 현실에서 구현되는 추세다. 약 2시간에 걸친 대담 연사로 나선 젠슨황은 준비한 내용을 열거하며 발표 말미에 다음과 같이 소회를 밝혔다.
“오랜만에 뵙는 자리라서 할 얘기가 많았다” 말이 끝나기 바쁘게 박수가 쏟아졌다.
By 김현동 에디터 Hyundong.Kim@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 금지〉
