참고팁Reddit
로컬 음성 에이전트 파이프라인의 VAD 성능 개선 팁
음성 인식 시 Smart Turn 게이트를 적용해 불필요한 LLM 호출을 줄이고 정확도 향상.
요약
C++17 기반의 런타임인 speech-core가 v0.0.14 업데이트를 통해 로컬 음성 에이전트 파이프라인에 오디오 턴 종료 게이트 기능을 추가했다. 기존 방식은 VAD(음성 활동 감지)가 정적을 감지하면 즉시 턴을 종료해 사용자의 사고 중 멈춤 현상을 사용자 발화 종료로 오인하는 문제가 있었다. 이를 해결하기 위해 Pipecat/Daily의 'Smart Turn v3.2' 모델을 네이티브 파이프라인에 통합했다. 새로운 프로세스는 VAD가 멈춤을 감지하면 Smart Turn 모델이 최근 8초간의 16kHz 오디오 데이터를 분석하여 턴 종료 여부를 결정한다. 기본 임계값 0.5를 기준으로 판단하며, 분석 결과에 따라 파이프라인은 턴을 완료하거나 계속해서 사용자 발화를 수신한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I added an audio end-of-turn gate before LLM invocation in a local voice-agent pipeline
원문 보기 ↗