엔비디아가 MLPerf 테스트 결과를 통해 AI 추론이 더해진 솔루션의 성능과 효율성 큰 폭 개선을 밝혔다. MLPerf는 AI 성능을 측정하는 애플리케이션이다.
특히 DGX H100 시스템에서 실행되는 엔비디아 H100 텐서 코어(Tensor Core) GPU는 생산에서 신경망을 실행하는 작업인 AI 추론의 모든 테스트에서 비약적으로 성능이 개선됐다. 엔비디아는 최대 54%의 성능 향상을 달성했다고 밝혔다. 의료 영상용 MLPerf 벤치마크인 3D-UNet에서도 31%의 성능 향상을 확인했다.
생성형 AI를 통해 사용자는 텍스트, 이미지, 3D 모델 등을 빠르게 만들 수 있다. 이는 스타트업부터 클라우드 서비스 제공업체에 이르기까지 다양한 기업이 새로운 비즈니스 모델을 구현하고 기존 비즈니스 모델을 가속화하기 위해 빠르게 도입하고 있는 기능이다. 트랜스포머 모델인 챗GPT와 같은 생성형 AI 도구가 대표적이다.
이러한 AI의 시대에는 추론 성능이 관건이다. 딥러닝은 이제 거의 모든 곳에 배포되고 있으며 공장 현장부터 온라인 추천 시스템에 이르기까지 추론 성능에 대한 요구가 끊임없이 증가하고 있다.
엔비디아 L4 텐서 코어 GPU는 이전 세대 T4 GPU보다 3배 이상 빠른 속도로 MLPerf 테스트에 데뷔했다. 프로파일이 낮은 폼 팩터(low-profile form factor)로 패키징된 가속기는 거의 모든 서버에서 높은 처리량과 짧은 지연 시간을 제공하도록 설계됐다.
By 김신강 에디터 Shinkang.kim@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 금지〉
