Fantasy-AMAP/fantasy-world

개요 FantasyWorld는 ICLR 2026에 채택된 연구로, 비디오 생성과 3D 재구성을 하나의 통합된 프레임워크로 결합하여 기하학적으로 일관된 월드 모델을 구축하는 기술이다. 기존에 분리되어 있던 두 과제를 동시에 다루며, 생성된 비디오의 3D 구조적 정합성을 보장한다.

핵심 내용 비디오 예측 모델은 시각적으로 그럴듯한 미래 프레임을 생성하지만, 3D 기하학적 일관성이 보장되지 않는 문제가 있었다. FantasyWorld는 비디오 생성과 3D 예측을 통합(unified) 아키텍처로 처리함으로써 이 문제를 해결한다. 모델이 비디오를 생성하면서 동시에 해당 장면의 3D 구조를 예측하므로, 프레임 간 기하학적 정합성이 자연스럽게 유지된다. Python 기반 코드가 공개되어 있으며, GitHub에서 243개의 스타를 기록하고 있다.

기존 대비 차별점 기존 월드 모델은 비디오 생성과 3D 재구성을 별개의 파이프라인으로 처리했기 때문에, 생성된 영상에서 3D를 복원하면 왜곡이나 불일치가 발생했다. FantasyWorld는 이 두 작업을 하나의 모델에서 동시에 학습시켜, 기하학적 일관성을 구조적으로 보장한다는 점이 핵심 차별점이다. ICLR 2026 채택이 이 접근법의 학술적 기여를 입증한다.

활용 가능성 자율주행, 로봇 시뮬레이션 등 물리적 환경을 예측해야 하는 도메인에서 활용도가 높다. 3D 일관성이 보장된 비디오 생성은 시뮬레이션 데이터 합성, 공간 계획, 그리고 embodied AI 에이전트의 환경 이해력 향상에 직접 기여할 수 있다.

참고 자료 - GitHub 저장소 ===