EgoEdit

개요 Snapchat 연구팀이 개발한 EgoEdit는 1인칭(에고센트릭) 비디오에 대해 고품질 실시간 편집을 수행하는 기술이다. CVPR 2026에 채택되었으며, 10만 개 규모의 대규모 비디오 데이터셋과 벤치마크가 이미 공개되어 있다.

핵심 내용 에고센트릭 비디오는 AR 글래스나 액션캠처럼 착용자의 시점에서 촬영되는 영상으로, 기존 3인칭 비디오와 달리 심한 움직임, 손과 물체의 빈번한 등장, 시점 변화가 극심하다는 특성이 있다. EgoEdit는 이러한 환경에서도 안정적으로 비디오를 편집할 수 있도록 설계되었다. 10만 개의 에고센트릭 비디오로 구성된 대규모 데이터셋을 구축하여 모델을 학습시켰으며, 편집 품질을 정량적으로 평가할 수 있는 전용 벤치마크도 함께 제공한다.

기존 대비 차별점 기존 비디오 편집 기술은 주로 3인칭 시점의 안정적인 영상을 대상으로 했기 때문에, 에고센트릭 영상의 불규칙한 움직임과 복잡한 핸드-오브젝트 인터랙션을 처리하기 어려웠다. EgoEdit는 에고센트릭 도메인에 특화된 최초의 대규모 편집 프레임워크라는 점에서 차별화된다. 또한 데이터셋과 벤치마크를 완전히 공개하여 후속 연구의 재현성과 비교 가능성을 확보했다.

활용 가능성 AR/MR 디바이스에서 촬영된 1인칭 영상의 후처리 파이프라인에 적용할 수 있으며, 스마트 글래스 기반 라이프로깅 콘텐츠의 자동 편집에도 유용하다. Snapchat 같은 소셜 미디어 플랫폼에서 에고센트릭 콘텐츠의 실시간 필터/편집 기능으로 확장될 가능성이 크고, 로보틱스나 자율주행 분야에서 1인칭 시점 데이터의 전처리 도구로도 활용 가능하다.

참고 자료 - 원본 트윗 - 프로젝트 페이지 - 데이터셋 (HuggingFace) ===