PixARMesh reconstructs full indoor scenes from a single photo directly into lightweight meshes.

개요 PixARMesh는 단일 사진 한 장만으로 실내 공간 전체를 경량 메시(mesh)로 재구성하는 3D 복원 기술이다. 기존의 SDF(Signed Distance Field) 기반 파이프라인을 완전히 우회하며, 100만 개 이상의 면(face)을 생성하던 기존 방식과 달리 약 7,000개 수준의 면으로 깔끔한 토폴로지를 출력한다.

핵심 내용 3D 실내 복원은 보통 뉴럴 임플리싯(Neural Implicit) 표현 → SDF 추출 → 마칭큐브 → 리메싱이라는 무거운 파이프라인을 거친다. 이 과정에서 수백만 폴리곤이 생성되고, 후처리 없이는 실시간 렌더링이나 아티스트 워크플로에 바로 투입하기 어렵다. PixARMesh는 이 중간 단계를 모두 건너뛰고, 입력 이미지에서 직접 메시를 예측한다. 결과물은 약 7k faces 수준으로, 별도의 데시메이션(decimation) 없이도 게임 엔진이나 AR/VR 런타임에 바로 올릴 수 있는 수준이다.

기존 대비 차별점 가장 큰 차별점은 SDF를 완전히 배제한 점이다. 복셀 기반 출력은 해상도-비용 트레이드오프에서 벗어나기 어려운 반면, PixARMesh는 직접 메시를 생성하므로 출력이 곧 최종 에셋에 가깝다. 7k 폴리곤이라는 극단적 경량화도 인상적인데, 아티스트가 수작업으로 리토폴로지할 필요 없이 바로 사용할 수 있는 "artist-ready topology"를 내놓는다는 점이 실용성 측면에서 돋보인다.

활용 가능성 인테리어 디자인 앱에서 사진 한 장으로 빠르게 3D 레이아웃을 생성하거나, AR 기반 가구 배치 시뮬레이션에 활용할 수 있다. VR 공간 구성 시 빠른 프로토타이핑 도구로도 유용하며, 부동산 가상 투어 콘텐츠 제작 비용을 크게 줄일 수 있을 것으로 보인다.

참고 자료 - 원본 트윗 ===