collabora/WhisperFusion

개요 WhisperLive와 WhisperSpeech를 결합해 AI와 끊김 없는 실시간 음성 대화를 가능하게 하는 시스템이다. 사용자가 말하면 즉시 AI가 음성으로 응답하는 완전한 음성 대화 파이프라인을 구현한다.

핵심 내용 실시간 STT(WhisperLive) + LLM 추론 + TTS(WhisperSpeech)를 통합해 음성-음성 대화 시스템을 구성한다. 낮은 지연 시간(low latency)에 중점을 두어 자연스러운 대화 흐름을 유지한다. Python 기반으로 로컬 GPU 환경에서 실행할 수 있다.

기존 대비 차별점 ChatGPT Voice 같은 상용 서비스와 달리 완전 오픈소스로 자체 서버에서 실행할 수 있어 프라이버시와 비용 측면에서 유리하다. STT-LLM-TTS 파이프라인 각 단계를 교체 가능하도록 모듈화되어 있다.

활용 가능성 음성 AI 어시스턴트, 콜센터 자동화, 음성 기반 인터페이스, 교육용 AI 튜터 등 음성 대화 AI가 필요한 프로젝트에 활용할 수 있다. 엔터프라이즈 환경에서 데이터 보안이 필요한 음성 AI 구축에 특히 유용하다.

참고 자료 - 원본