로컬 LLM 기반 통화 보조 앱 'Murmury' 공개 및 모델별 성능 비교

요약

오픈소스 Mac 앱인 Murmury가 Ollama와 완전히 통합되어 로컬 환경에서 화상 회의 내용을 실시간으로 받아쓰고 문서 기반 답변을 제공하게 되었다. 개발자는 Whisper(MLX)를 사용하여 Zoom, Meet, Teams 회의를 녹취하며, Ollama를 통해 사내 문서에서 즉각적인 답변을 도출한다. 최적화 과정에서 Ollama의 기본 컨텍스트 길이를 32768로 설정해야 긴 문서가 잘리지 않는다는 점을 확인했다. 모델별 테스트 결과 gemma3:12b가 가장 정확한 답변을 제공했으며, qwen3:8b는 유사한 성능을 보였고 llama3.2:3b는 속도는 빠르지만 정보 왜곡 가능성이 있었다. M5 칩 환경에서는 첫 응답까지 0.5~0.8초, 전체 답변 완료까지 약 6초가 소요된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.