MoyGcc/vid2avatar

개요 CVPR 2023 논문 "Vid2Avatar"의 공식 구현체다. 자연환경(in the wild) 동영상에서 자기지도학습(self-supervised) 장면 분해를 통해 3D 아바타를 재구성하는 기술이다.

핵심 내용 배경 환경과 인체를 분리하는 자기지도 방식의 장면 분해로 별도 마스킹 라벨 없이 동영상에서 사람의 3D 형태와 외관을 학습한다. NeRF 기반 표현으로 의류, 피부, 헤어 등 디테일한 외관을 재구성한다. 1,300+ stars를 기록한 CV 분야 연구다.

기존 대비 차별점 기존 3D 아바타 재구성은 제어된 환경이나 특별한 장비(멀티카메라 등)가 필요했다. Vid2Avatar는 일반 카메라로 촬영한 영상에서도 고품질 3D 아바타를 자동으로 재구성할 수 있다.

활용 가능성 게임 캐릭터 자동 생성, 가상 피팅, 디지털 휴먼, 메타버스 아바타 제작 등 실제 인물의 3D 디지털 복사본이 필요한 분야에 응용할 수 있다.

참고 자료 - 원본