inspatio/worldfm

개요 inspatio에서 공개한 WorldFM은 3D 공간을 이해하고 모델링하기 위한 파운데이션 모델이다. Python으로 작성되었으며, GitHub에서 780개 이상의 스타를 받으며 공간 AI 분야에서 주목받고 있는 오픈소스 프로젝트이다.

핵심 내용 WorldFM은 Spatial AI 영역의 파운데이션 모델로, 3D 환경에 대한 범용적인 이해 능력을 목표로 한다. 기존의 3D 비전 모델들이 특정 태스크(깊이 추정, 포인트 클라우드 분류 등)에 특화되어 있었다면, WorldFM은 하나의 모델로 다양한 공간 이해 태스크를 처리할 수 있는 범용 아키텍처를 지향한다. 이는 LLM이 텍스트 영역에서 보여준 파운데이션 모델 패러다임을 3D 공간으로 확장하려는 시도다.

기존 대비 차별점 기존 3D 비전 연구들은 NeRF, 3D Gaussian Splatting 등 장면 복원에 집중하거나, PointNet 계열의 포인트 클라우드 처리에 특화되어 있었다. WorldFM은 "월드 모델"이라는 관점에서 3D 공간의 구조, 의미, 관계를 통합적으로 이해하는 방향을 제시한다. 파운데이션 모델 접근법으로 다운스트림 태스크에 대한 제로샷 또는 퓨샷 전이가 가능할 것으로 기대된다.

활용 가능성 로보틱스에서 환경 인식 및 내비게이션, AR/VR에서 공간 매핑과 오브젝트 배치, 자율주행에서 3D 장면 이해 등 공간 컴퓨팅 전반에 걸쳐 활용할 수 있다. 게임 개발에서는 자동 레벨 디자인이나 NPC의 공간 인지에도 응용 가능하다. 오픈소스로 공개되어 있어 직접 실험하고 파인튜닝해볼 수 있다는 점도 강점이다.

참고 자료 - GitHub 저장소 ===