SAM changed the game for 2D image segmentation.

개요 SNAP(Segment aNything in Any Point cloud)은 SAM이 2D 이미지 세그멘테이션에서 이룬 혁신을 3D 포인트 클라우드로 확장한 연구다. 3DV 2026 Oral 논문으로 채택되었으며, 실내·실외·항공 등 다양한 환경의 포인트 클라우드에서 하나의 통합 모델로 인터랙티브 3D 세그멘테이션을 수행한다.

핵심 내용 Meta의 SAM(Segment Anything Model)은 프롬프트 기반으로 어떤 2D 이미지에서든 객체를 분할할 수 있어 큰 반향을 일으켰다. 그러나 3D 포인트 클라우드 영역에서는 이에 대응하는 범용 모델이 부재했다. 기존 3D 세그멘테이션 모델들은 특정 도메인(실내, 자율주행 등)에 특화되어 있어 환경이 바뀌면 성능이 급격히 저하되는 문제가 있었다. SNAP은 다양한 도메인의 포인트 클라우드 데이터를 통합 학습하여, 단일 모델로 실내 공간, 도심 도로, 항공 촬영 데이터 모두에서 인터랙티브하게 3D 객체를 분할할 수 있다.

기존 대비 차별점 도메인별로 별도 모델을 학습할 필요 없이 하나의 모델이 모든 유형의 포인트 클라우드를 처리한다는 점이 핵심 차별점이다. SAM의 프롬프트 기반 인터랙션 패러다임을 3D로 가져와, 사용자가 클릭이나 바운딩 박스로 관심 영역을 지정하면 해당 3D 객체를 분할하는 방식을 취한다. 실내-실외-항공이라는 극단적으로 다른 스케일과 밀도를 가진 데이터를 단일 아키텍처로 소화한다는 점에서 기술적 완성도가 높다.

활용 가능성 자율주행 데이터 라벨링, 건축/건설 현장의 3D 스캔 분석, 드론 측량 데이터 처리 등에서 어노테이션 비용을 크게 줄일 수 있다. 특히 로보틱스 분야에서 환경에 구애받지 않는 3D 인식 백본으로 활용하거나, 3D Gaussian Splatting과 결합해 장면 편집 파이프라인의 마스킹 단계에 적용할 수 있을 것이다.

참고 자료 - 원본 트윗 ===