엔비디아CEO 젠슨 황이 AI 아바타 토이 젠슨(Toy Jensen, 이하 TJ)이 부르는 징글 벨 공연 영상을 통해 연말 인사를 공개했다. 엔비디아 옴니버스 아바타 클라우드 엔진(NVIDIA Omniverse Avatar Cloud Engine(ACE))으로 만든 TJ는 엔비디아 옴니버스 아바타 클라우드 엔진 플랫폼의 핵심 기술 성격의 데모다.
옴니버스 ACE는 개발자가 멋진 대화형 아바타를 쉽게 구축, 사용자 지정, 배포할 수 있는 클라우드 네이티브 AI 마이크로서비스와 워크플로의 모음이다. 현재의 아바타 개발은 전문 지식과 장비, 수작업 집약적인 워크플로가 필요하다.
이와 달리 옴니버스 ACE는 옴니버스 플랫폼 및 엔비디아의 UCF(Unified Compute Framework)를 기반으로 구축되어, 최소한의 코딩으로 AI 파이프라인을 빠르게 생성하고 구성할 수 있다.
데모 공개에 앞서 음성 변환 모델을 사용해 전문 가수의 샘플에서 음성을 추출하고 이를 TJ의 음성으로 변환했다. 원래 TJ의 목소리는 실제 녹음을 바탕으로 수 시간 동안 훈련시켜 개발됐다. 이번에는 샘플의 음정을 사용해 TJ의 디지털 음성에 적용해, 아바타가 원래 가수와 동일한 음정과 리듬으로 노래하도록 했다.
다음 과정으로 옴니버스 오디오2페이스(Audio2Face), 오디오2제스처(Audio2Gesture) 기술과 함께 엔비디아 옴니버스 ACE를 사용해 TJ의 오디오만을 기반으로 애니메이션 공연을 위한 사실적인 얼굴 표정과 신체 움직임을 생성했다.
By 김현동 에디터 Hyundong.Kim@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 금지〉
