"Track4World: Feedforward World‑centric Dense 3D Tracking of All Pixels"

개요 Track4World는 단안(monocular) 비디오로부터 모든 픽셀의 2D 및 3D dense flow를 피드포워드 방식으로 예측하여, 월드 좌표계(world-centric) 기준의 전체적(holistic) 3D 추적을 수행하는 모델이다. 기존 옵티컬 플로 및 트래킹 베이스라인들을 성능 면에서 앞선다.

핵심 내용 기존 3D 추적 기법들은 크게 두 가지 한계에 직면해왔다. 첫째, 카메라 중심(camera-centric) 좌표계에서 작동하여 카메라 자체가 움직이면 추적 일관성이 무너지고, 둘째, 스파스 포인트만 추적하거나 iterative 최적화가 필요해 속도가 느렸다. Track4World는 이 두 문제를 동시에 해결한다. 피드포워드 네트워크가 단일 패스로 픽셀 단위 2D·3D flow를 예측하며, 이를 월드 좌표계로 정의하기 때문에 카메라 모션과 장면 모션이 자연스럽게 분리된다. "Dense"라는 점이 특히 중요한데, 특징점(feature point)이 아닌 모든 픽셀을 추적하므로 장면 전체의 기하학적 변화를 빠짐없이 포착한다.

기존 대비 차별점 카메라 좌표가 아닌 월드 좌표 기준이라는 점이 가장 핵심적인 차이다. 이전 dense tracking 모델들(예: TAPIR, CoTracker)이 2D 평면상의 correspondence에 집중했다면, Track4World는 3D 공간에서의 실제 움직임을 직접 추정한다. 피드포워드 구조 덕분에 테스트 시 최적화 루프가 필요 없어 추론 속도 면에서도 유리하다.

활용 가능성 자율주행 차량의 동적 장면 이해, AR 콘텐츠의 안정적 앵커링, 스포츠 중계에서의 선수·공 궤적 3D 분석, 영상 편집에서의 3D-aware 합성 등에 활용될 수 있다. SLAM 파이프라인의 프론트엔드로 통합하거나, 로보틱스 시스템의 환경 인식 모듈로도 가치가 높다.

참고 자료 - 원본 트윗 ===