Wild action, casual capture, no problem.

개요 DROID-W는 CVPR 2026에 발표된 연구로, 동적 객체가 포함된 비정형 영상에서 카메라 포즈 추정, 동적 불확실성 모델링, 동적 포인트 클라우드 및 정적 Gaussian Splatting 복원을 동시에 수행한다. ETH Zürich와 Microsoft의 공동 연구 결과다.

핵심 내용 기존 SLAM 시스템은 장면이 정적이라는 가정 하에 설계되어, 사람·차량 등 움직이는 객체가 포함된 영상에서 심각한 오류를 일으킨다. DROID-W는 각 픽셀의 동적 불확실성(dynamic uncertainty)을 추정하여, 움직이는 영역은 동적 포인트 클라우드로 분리하고, 정적 배경은 3D Gaussian Splatting으로 고품질 렌더링한다. 토니 자(Tony Jaa)의 액션 영화 《The Protector》 같은 극도로 동적인 영상에서도 안정적으로 동작함을 시연하여, 실용성을 강하게 어필했다.

기존 대비 차별점 정적/동적 장면을 명시적으로 분리하여 각각에 최적화된 표현(포인트 클라우드 vs Gaussian Splatting)을 적용한 점이 핵심이다. 대부분의 동적 SLAM 연구가 동적 객체를 "제거"하는 데 그치는 반면, DROID-W는 동적 객체까지 3D로 복원한다. 또한 캐주얼하게 촬영한 영상에서도 작동하므로, 별도의 촬영 프로토콜이 필요 없다.

활용 가능성 - 영화·스포츠 영상에서 후처리 없이 3D 장면 복원 및 시점 변환 - AR/VR 콘텐츠 제작 시 동적 인물과 정적 배경을 분리해 재활용 - 자율주행 시뮬레이션을 위한 실제 도로 장면의 동적 객체 포함 복원

참고 자료 - 원본 트윗 ===