apple/ml-neuman

개요 단일 비디오에서 신경 방사장(Neural Radiance Field)을 이용해 인간 아바타를 재구성하는 Apple의 ECCV 2022 논문 공식 코드다. 하나의 동영상만으로 애니메이션 가능한 3D 인체 모델을 생성한다.

핵심 내용 NeuMan(Neural Human Radiance Field)은 단일 시점 비디오에서 사람을 배경과 분리하고 NeRF로 3D 표현을 학습한다. 학습된 모델은 새로운 포즈와 시점에서 렌더링할 수 있어 애니메이션이 가능한 디지털 아바타를 생성한다. SMPL 신체 모델과 NeRF를 결합한 접근 방식이다.

기존 대비 차별점 기존 NeRF는 정적 장면 재구성에 특화되어 있었는데, NeuMan은 동적으로 움직이는 사람을 NeRF로 재구성하고 새로운 동작으로 리타겟팅하는 것을 가능하게 했다.

활용 가능성 메타버스 아바타 생성, 영화/게임 디지털 더블, 가상 피팅 룸, AR/VR 콘텐츠 제작 등에서 단일 동영상으로 고품질 3D 아바타를 만드는 기술로 활용할 수 있다.

참고 자료 - 원본