Do Visual Imaginations Improve Vision-and-Language Navigation Agents?

개요 VLN-Imagine은 Vision-and-Language Navigation(VLN) 에이전트에 시각적 상상(visual imagination) 능력을 부여하여, 자연어 지시만으로 처음 보는 환경을 탐색하는 성능을 향상시킬 수 있는지 탐구하는 연구다. 에이전트가 아직 방문하지 않은 장소의 시각적 표현을 미리 상상함으로써 탐색 의사결정을 돕는다.

핵심 내용 VLN 과제에서 에이전트는 "복도 끝에서 좌회전 후 두 번째 문으로 들어가세요"와 같은 자연어 지시를 받고 미지의 3D 환경을 탐색해야 한다. 기존 에이전트는 현재 관측만으로 다음 행동을 결정했지만, VLN-Imagine은 아직 보지 못한 방향의 시각적 장면을 생성(imagination)하여 에이전트의 의사결정에 추가 정보를 제공한다. 이를 통해 에이전트는 실제로 이동하기 전에 각 방향의 장면을 "미리 보고" 지시문과 더 잘 매칭되는 경로를 선택할 수 있다.

기존 대비 차별점 기존 VLN 방법들이 현재 시점의 관측에만 의존하는 반면, VLN-Imagine은 생성 모델을 활용해 미관측 뷰를 합성하는 "상상" 메커니즘을 도입했다. 사람이 길을 찾을 때 머릿속으로 경로를 시각화하는 인지 과정을 모방한 접근으로, embodied AI에서 인간의 인지 전략을 차용한 흥미로운 시도다.

활용 가능성 실내 로봇 내비게이션, AR 길안내, 시각장애인 보조 시스템 등 자연어 기반 공간 탐색이 필요한 분야에 적용할 수 있다. 특히 사전 맵 없이 언어 지시만으로 동작해야 하는 상황에서, 시각적 상상 모듈이 탐색 효율을 크게 높일 가능성이 있다.

참고 자료 - 원본 트윗 - GitHub - VLN-Imagine ===