참고Reddit
Boson AI, 실시간 듀플렉스 멀티모달 모델 'Higgs Realtime Duplex' 공개
오디오/비디오/텍스트를 동시에 처리하는 새로운 아키텍처 모델로, 실시간 에이전트 개발 시 대안으로 고려할 가치가 있음.
요약
Boson AI가 45B 규모의 MoE 기반 멀티모달 모델 'Higgs Realtime Duplex'를 공개했다. 기존 모델이 순차적인 턴 방식(입력-사고-출력)으로 작동하는 것과 달리, 이 모델은 듣기, 보기, 말하기 과정을 동시에 처리하며 배경에서 사고와 도구 호출, 위임까지 실시간으로 수행한다. 시스템은 모든 데이터 스트림을 160ms 단위의 청크로 처리하며, 음성 입력은 6.25 tokens/s, 음성 출력은 12.5 tokens/s 속도로 구동된다. 영상 입력은 6개 청크마다 약 12개의 토큰으로 구성된 프레임이 입력되며, 침묵 또한 청크로 인식해 끼어들기나 백채널링 여부를 판단한다. 현재 이전 버전인 Higgs Realtime은 사용 가능하며, Duplex API는 대기자 명단을 통해 접근할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Higgs Realtime Duplex: a 45B MoE full-duplex model that listens, watches and talks at once, and thinks, calls tools and delegates in the background [N]
원문 보기 ↗