homuler/MediaPipeUnityPlugin

개요 Google의 MediaPipe를 Unity에서 직접 실행할 수 있게 해주는 플러그인이다. 손 추적, 신체 추적, 얼굴 감지 등 MediaPipe의 다양한 솔루션을 Unity 게임/앱에서 바로 활용할 수 있다.

핵심 내용 MediaPipe의 C++ 코어를 Unity에서 P/Invoke로 연결해 MediaPipe Graph를 Unity 내에서 실행한다. Hand Tracking, Pose Estimation, Face Mesh, Holistic 등 주요 MediaPipe 파이프라인을 지원하며, Android, iOS, macOS, Windows 등 크로스 플랫폼으로 동작한다. WebCam 입력을 그대로 받아 키포인트 데이터를 C# 코드에서 사용할 수 있다.

기존 대비 차별점 기존에는 MediaPipe를 Unity와 연동하려면 별도 서버를 통한 소켓 통신 방식이 필요했다. 이 플러그인은 MediaPipe 네이티브 라이브러리를 Unity 내에 직접 임베드해 지연 없이 실시간 처리가 가능하다.

활용 가능성 Unity 기반 AR 핸드 인터랙션, 제스처 인식 게임, 비접촉 UI 제어, 동작 인식 피트니스 앱, XR 아바타 제어 등 Unity와 실시간 신체 추적을 결합하는 모든 프로젝트에 활용할 수 있다.

참고 자료 - 원본