[아이티비즈 박채균 기자] 엔비디아(CEO 젠슨 황)는 19일 자사의 AI리서치랩에서 개발한 GANverse3D 애플리케이션을 발표했다.
이 솔루션은 평면 이미지를 사실적인 3D 모델로 변환해 가상 환경에서 시각화 및 제어를 가능하게 한다. 건축가, 크리에이터, 게임 개발자, 디자이너가 GANverse3D를 활용하면 3D 모델링 분야에 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 자신의 실물 모형에 새로운 오브젝트를 손쉽게 추가할 수 있다. 이는 특정 자동차 사진 한 장만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다.
엔비디아 AI리서치랩의 연구자들은 훈련용 데이터세트의 마련에 생성적 적대 신경망(GAN)을 적용해 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성했다. 이를 통해 얻은 다시점 이미지들을 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽용 렌더링 프레임워크에 연결했다.
다시점 이미지로 훈련을 완료한 GANverse3D는 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이는 오브젝트를 커스터마이징하고 배경을 스왑 아웃할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수 있다.
GANverse3D를 엔비디아 옴니버스 플랫폼의 확장기능으로 가져와 엔비디아 RTX GPU로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다. 일례로 1980년대에 큰 인기를 끌었던 TV 드라마 ‘전격 Z작전’에서 범죄에 맞서 싸우며 대중의 관심을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다.
이번 프로젝트의 책임 저자를 맡은 웬젱 첸 엔비디아 연구원은 “3D 에셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있게 됐다”고 말했다.
