A40 GPU 1대로 STT+LLM+TTS 로컬 음성 에이전트 구동: 지연 시간 분석 및 최적화 팁

요약

ComputeNexa 개발자가 단일 A40(48GB) GPU에서 제3자 API 없이 음성 에이전트(STT, LLM, TTS)를 구동한 기술 스택과 지연 시간 분석 결과를 공유했다. 음성 인식에는 Whisper large-v3-turbo를, LLM은 Gemma 4 12B(4-bit), 음성 합성에는 ONNX Runtime 기반의 Kokoro를 사용하여 vLLM 상에서 구동했다. 오케스트레이션 도구로 Pipecat을 활용한 결과, 음성 입력 종료부터 첫 오디오 출력까지의 전체 지연 시간(Total Latency)은 중앙값 기준 1.28초를 기록했다. 세부적으로는 STT 271ms, LLM 첫 문장 생성 372ms, 음성 합성 첫 오디오 출력 298ms가 소요되었다. 웹 검색이 포함된 응답의 경우 2초 이상의 지연 시간이 추가되며, 전체 시스템 구축 과정에서 Pipecat과 Silero 연동 등 다양한 기술적 오류를 해결해야 했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.