NVlabs/sage

개요 SAGE(Scalable Agentic 3D Scene Generation)는 NVIDIA Research에서 공개한 프로젝트로, 에이전트 기반 접근법으로 대규모 3D 장면을 자동 생성하여 Embodied AI 학습 환경을 제공하는 것을 목표로 한다. 로봇이나 가상 에이전트가 훈련할 수 있는 다양하고 사실적인 3D 공간을 확장 가능하게 만들어낸다.

핵심 내용 Embodied AI 연구의 핵심 병목 중 하나는 학습에 필요한 대규모 3D 환경의 부족이다. 수작업으로 3D 장면을 구성하는 것은 비용이 크고, 기존 자동 생성 방식은 다양성과 사실성이 부족했다. SAGE는 에이전틱(agentic) 파이프라인을 도입해 이 문제를 해결한다. AI 에이전트가 장면의 구조를 계획하고, 오브젝트를 배치하며, 물리적 정합성을 검증하는 과정을 자율적으로 수행한다. 이를 통해 다양한 실내/실외 환경을 대량으로 생성할 수 있으며, 생성된 장면은 시뮬레이터에서 바로 사용 가능한 형태로 출력된다. Python으로 구현되었다.

기존 대비 차별점 기존 3D 장면 생성은 규칙 기반(ProcTHOR 등)이거나 단일 모델 기반이었다. SAGE는 에이전트가 반복적으로 장면을 평가·수정하는 루프를 통해 품질과 다양성을 동시에 확보한다. NVIDIA의 인프라와 결합되어 확장성(scalability)을 핵심 설계 원칙으로 삼은 점, 그리고 Embodied AI 훈련이라는 명확한 다운스트림 타깃을 갖고 있다는 점이 차별화된다.

활용 가능성 로봇 내비게이션·매니퓰레이션 학습을 위한 대규모 시뮬레이션 환경 구축, VR/AR 콘텐츠 자동 생성, 실내 디자인 시뮬레이션 등에 활용할 수 있다. 특히 sim-to-real 전이를 목표로 하는 로보틱스 연구에서 학습 환경의 다양성을 크게 높이는 데 기여할 수 있다.

참고 자료 - 원본 저장소 ===