참고Reddit
음성 AI 에이전트 성능 평가 리더보드 공개: TurnBench 등 벤치마크 포함
음성 모델을 앱에 통합할 때 로컬 모델과 클라우드 API 간의 성능 및 지연시간을 비교 검토할 수 있는 참고 자료.
요약
Soniqo가 자사의 오픈소스 음성 런타임 프로젝트와 함께 음성 에이전트 성능을 평가하는 공개 리더보드를 출시했다. 해당 런타임은 Swift, C++, Android 환경을 지원하며 Apache 2.0 라이선스로 배포된다. 리더보드는 TurnBench(턴 탐지), SLURP(음성 도구 요청), InstructTTSEval(음성 스타일 지시 따르기) 등 세 가지 평가 지표를 통합하여 로컬 모델과 클라우드 서비스의 성능을 비교한다. 특히 SLURP 평가 항목은 음성 기반 도구 사용 시 액션 선택, 인수 일치, 거부 처리 능력을 세밀하게 분석한다. 리더보드 애플리케이션은 MIT 라이선스를 따르며, 소스 코드와 평가 프로토콜 및 결과 데이터는 Hugging Face에서 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 We published a voice-agent leaderboard alongside our open-source speech runtimes
원문 보기 ↗