spla-tam/SplaTAM

개요 SplaTAM은 3D Gaussian Splatting을 SLAM(Simultaneous Localization and Mapping)에 접목한 연구로, RGB-D 카메라 입력으로부터 실시간 카메라 추적과 밀집 3D 맵 재구성을 동시에 수행한다. CVPR 2024에서 발표되었으며 GitHub에서 2,000개 이상의 스타를 받았다.

핵심 내용 전통적인 SLAM 시스템은 포인트 클라우드나 복셀 기반으로 맵을 표현하는데, SplaTAM은 3D Gaussian을 맵의 기본 단위로 사용한다. 각 Gaussian은 위치, 공분산, 색상, 불투명도 파라미터를 갖고 있어 장면의 기하학과 외형을 동시에 인코딩한다. 새로운 프레임이 입력되면 기존 Gaussian 맵에 대한 미분 가능한 렌더링을 통해 카메라 포즈를 최적화(Tracking)하고, 추정된 포즈를 기반으로 새로운 Gaussian을 추가하거나 기존 것을 업데이트(Mapping)하는 두 단계를 반복한다.

핵심 기여는 세 가지다. 첫째, Gaussian Splatting의 미분 가능한 래스터라이저를 활용해 분석적 그래디언트로 카메라 포즈를 추정한다. 둘째, 실루엣 기반의 Gaussian 추가 전략으로 아직 커버되지 않은 영역을 효과적으로 채운다. 셋째, RGB와 Depth 손실을 결합한 밀집 최적화로 기하학적 정확도와 시각적 품질을 동시에 확보한다.

기존 대비 차별점 NeRF 기반 SLAM(iMAP, NICE-SLAM 등)은 암묵적 표현의 특성상 맵 업데이트가 느리고 망각(catastrophic forgetting) 문제가 있었다. SplaTAM은 명시적 표현인 3D Gaussian을 사용하므로 새로운 영역 추가 시 기존 맵이 훼손되지 않으며, 래스터라이제이션 기반이라 렌더링 속도도 빠르다. 또한 포인트 클라우드 SLAM 대비 훨씬 풍부한 장면 표현이 가능해 포토리얼리스틱한 Novel View Synthesis를 부산물로 얻을 수 있다.

활용 가능성 로봇 내비게이션에서 실시간 밀집 맵핑, AR/MR 디바이스에서의 공간 이해, 실내 3D 스캐닝 및 디지털 트윈 구축 등에 활용할 수 있다. Gaussian Splatting이 계속 발전하고 있는 만큼, 이 SLAM 프레임워크를 기반으로 세맨틱 정보를 통합하거나 단안 RGB로 확장하는 후속 연구도 기대된다. Python 기반이라 프로토타이핑이 용이하다.

참고 자료 - GitHub 리포지토리 ===