[2021년 04월 19일] - 엔비디아 AI 리서치 랩이 GANverse3D 애플리케이션을 공개했다. 평면 이미지를 사실적인 3D 모델로 변환해주는 앱으로 가상 환경에서 시각화 및 제어에 유용한다.
예컨대 건축가, 크리에이터, 게임 개발자, 디자이너가 3D 모델링 분야에 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 실물 모형(mockups)에 새로운 오브젝트를 손쉽게 추가할 수 있다.
엔비디아는 특정 자동차 사진 한 장만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다고 설명했다.
원리는 다음과 같다. 훈련용 데이터 세트의 마련에 생성적 적대 신경망(GAN)을 적용해 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지를 합성한다.
이를 통해 얻은 다시점 이미지를 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽(inverse graphics)용 렌더링 프레임워크에 연결한 후 단일 2D 이미지만으로 3D 메시 모델을 구현한다.
진일보한 형태인 옴니버스(Omniverse) 플랫폼의 확장 기능을 활용하면 재현도 가능하다. 일례로 1980년대에 큰 인기를 끌었던 TV 드라마 전격 Z작전에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다.
기존 역 그래픽용 모델들은 훈련 데이터로 3D 형상에 의존해 왔다. 이번 프로젝트의 책임 저자를 맡은 웬젱 첸(Wenzheng Chen) 엔비디아 연구원은 “3D 에셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있게 됐다”라고 설명했다.
한편, GANverse3D 연구 내용은 5월에 개최될 인공지능학회 표현학습국제학회(ICLR)와 6월에 열릴 패턴인식 학술대회(CVPR)에서 소개될 예정이다.
By 김신강 에디터 Shinkang.kim@weeklypost.kr
김현동 에디터 hyundong.kim@weeklypost.kr
〈저작권자ⓒ 위클리포스트, 무단전재 및 재배포 금지〉
