[2020년 12월 15일] - 엔비디아가 엔비디아 수석 과학자 빌 달리(Bill Dally)가 새로운 AI 연구 프로젝트를 소개했다. 빌 달리는 기조연설에서 “엔비디아 연구진은 프로그래밍하기 쉬우며 보다 큰 대역폭을 가진 시스템에서 더 빠른 AI 칩을 만드는 방법을 연구하고 있다”고 말했다.
그는 자신이 이끄는 200명 규모의 연구팀이 황의 법칙(Huang’s Law)를 실현하기 위해 어떠한 노력을 기울이고 있는지 세 가지 프로젝트를 통해 설명했다. 황의 법칙은 GPU가 AI 성능을 매년 두 배로 향상시킬 것으로 예측한 젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO의 이름을 딴 것이다.
엔비디아에서 AI, 레이 트레이싱, 고속 인터커넥트 분야의 직접적 연구를 돕고 있는 빌 달리는 “황의 법칙은 컴퓨터 성능을 진정으로 향상시키기 위한 중요한 지표가 될 것으로, 해당 법칙은 당분간 지속될 것으로 보인다”고 말했다.
고도로 효율적인 가속기
연구진은 시뮬레이션에서 와트당 100테라 연산성능을 제공하는 AI 추론가속기를 생성하는 MAGNet이라는 툴을 개발했다. 이는 기존 상업용 칩보다 훨씬 더 큰 효율을 제공한다. MAGNet은 칩에서 대부분의 에너지를 소모하는 데이터 이동을 최소화하는 방식으로, 디바이스를 통해 정보의 흐름을 조율한다. 연구 시제품은 모듈형 타일 세트로 구현돼 유연하게 확장 가능하다. 또한, 시스템 내부의 전기 연결을 더 빠른 광학 연결로 대체하기 위해 노력 중이다.
빠른 처리량을 제공하는 광학 링크
빌 달리는 2009년 엔비디아에 합류하기 전 스탠포드대(Stanford University) 컴퓨터과학과 학과장으로 재임한 바 있으며, 120개 이상의 특허를 보유하고 있다. 그는 “GPU를 연결하는 NV링크(NVLink)의 속도를 두 배로 높이고 이를 또 두 배로 증가시킬 수 있지만, 이는 결국 전기 신호가 다 떨어지게 할 것이다”라고 말했다.
연구진은 통신업체들이 코어 네트워크에서 사용하는 기술을 활용해 수십 개의 신호를 단일 광섬유로 통합하는 방법을 연구하고자 콜롬비아대(Columbia University) 연구원들과 협력하고 있다.
이는 고밀도 파장 분할 다중 방식(Dense Wavelength Division Multiplexing)으로, 칩 측면의 단일 밀리미터 공간에 맞는 링크를 통해 초당 멀티 테라비트 속도를 전달할 수 있는 잠재력을 갖고 있다. 이는 기존 상호연결 밀도의 10배 이상이다.
광학 링크는 더 빠른 처리량 외에도 밀도가 더 높은 시스템을 구현한다. 빌 달리는 그 예로 160개의 이상의 GPU로 구성된 차세대 엔비디아 DGX 시스템의 모형을 기조연설에서 선보였다.
연구진은 소프트웨어에서 레게이트(Legate)라고 불리는 새로운 프로그래밍 시스템의 시제품을 만들었다. 이는 개발자들이 단일 GPU용으로 작성된 프로그램을 수천 개의 GPU로 구성된 셀린(Selene)과 같은 대형 슈퍼컴퓨터와 같은 크기의 시스템에서 실행할 수 있게 해준다.
레게이트는 새로운 형태의 프로그래밍 속기를 가속화된 소프트웨어 라이브러리와 리전(Legion)이라는 고급 런타임 환경을 연결한다. 이는 이미 미 국립연구소에서 실험 중이다
By 김현동 에디터 hyundong.kim@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 금지〉
Tag
#엔비디아
