Leveling3D: Leveling Up 3D Reconstruction with Feed-Forward 3D Gaussian Splatting and Geometry-Aware

개요 Leveling3D는 피드포워드 3D Gaussian Splatting과 geometry-aware 생성 모델을 결합하여 3D 재구성 품질을 끌어올린 연구다. AnySplat의 3D 기하 프라이어를 디퓨전 모델과 연결하는 파이프라인을 제안한다.

핵심 내용 이 논문의 핵심 아이디어는 두 단계로 구성된다. 먼저 AnySplat 같은 피드포워드 3DGS 모델에서 3D geometric prior를 추출하고, 이를 디퓨전 모델에 조건으로 주입한다. 디퓨전 모델은 이 기하 정보를 활용하여 관측되지 않은 뷰포인트의 이미지를 생성(extrapolation)하고, 생성된 이미지는 다시 3D 재구성에 피드백된다. 즉 "재구성 → 생성 → 재구성"의 순환 구조를 통해 제한된 입력에서도 완성도 높은 3D 모델을 얻는다.

기존 대비 차별점 기존 피드포워드 3DGS 방법들은 입력 뷰가 적을 때 품질이 급격히 저하되는 문제가 있었다. Leveling3D는 디퓨전 기반 생성 모델을 geometry-aware하게 결합함으로써 이 한계를 완화한다. 단순히 2D 이미지를 생성하는 것이 아니라 3D 기하 정보에 기반한 생성이므로 멀티뷰 일관성이 유지된다는 점이 차별화 포인트다.

활용 가능성 소수의 사진만으로 고품질 3D 에셋을 생성해야 하는 시나리오에서 유용하다. 부동산 가상 투어, e-커머스 제품 3D 뷰, 혹은 드론 촬영 등 제한된 시점만 확보 가능한 상황의 3D 재구성에 활용할 수 있다.

참고 자료 - 원본 트윗 ===