Topo-Or [

개요 Topo-Or는 고차(higher-order) 멀티모달 3D 장면 그래프 위에서 동작하는 최초의 위상적(topological) 딥 네트워크다. 수술실(Operating Room)이라는 복잡한 환경을 대상으로, 공간 내 객체들 간의 관계를 위상 수학적 구조로 모델링하여 장면 이해 성능을 높인다.

핵심 내용 수술실은 의료 기기, 의료진, 환자, 모니터 등 다양한 객체가 복잡한 상호관계를 맺는 환경이다. 기존의 그래프 신경망(GNN)은 쌍(pairwise) 관계만 표현할 수 있어, "의사-도구-환자" 같은 3자 이상의 상호작용을 직접 모델링하기 어려웠다. Topo-Or는 단체 복합체(simplicial complex)나 셀 복합체(cell complex) 같은 위상 구조를 활용하여 고차 관계를 자연스럽게 표현한다. 여기에 포인트 클라우드, RGB 이미지 등 멀티모달 입력을 통합하여 수술 워크플로우 인식과 장면 이해를 수행한다.

기존 대비 차별점 3D 장면 그래프 연구는 많지만, 위상적 딥러닝(Topological Deep Learning)을 장면 그래프에 적용한 것은 Topo-Or가 최초다. 고차 관계를 명시적으로 모델링함으로써 "누가 어떤 도구로 어떤 행위를 하는가" 같은 복합적 의미를 단일 프레임워크에서 포착할 수 있다. Tolga Birdal, Nassir Navab 등 3D 비전과 의료 영상 분야의 저명한 연구자들이 참여한 점도 주목할 만하다.

활용 가능성 수술 자동화 보조 시스템, 수술 단계 자동 인식, 의료 로봇의 상황 인지 등에 직접 적용 가능하다. 수술실 외에도 공장 자동화, 스마트 홈, 자율주행 등 복잡한 다객체 상호작용이 발생하는 환경의 장면 이해에 위상적 접근법을 확장할 수 있다.

참고 자료 - 원본 트윗 - 논문 PDF ===