EmbeddingGemma 2를 활용한 초경량 로컬 STT 구현

요약

구글의 멀티모달 임베딩 모델인 EmbeddingGemma 2를 기반으로 음성 인식(Speech-to-Text) 모델이 개발되었다. 텍스트, 이미지, 오디오, 비디오를 공유 공간에서 처리하는 임베딩 모델의 특성을 활용하여, 오디오가 텍스트와 가까운 위치에 임베딩된다는 점을 이용해 음성을 텍스트로 변환하는 방식을 구현했다. 모델 학습에는 8개의 H100 GPU를 사용하여 2시간 미만이 소요되었으며, 현재 약 5%의 단어 오류율(WER)을 기록 중이다. M3 MacBook Air에서 1시간 분량의 오디오를 약 13초 만에 처리할 수 있을 만큼 효율적이며, 애플의 Neural Engine을 활용해 모든 데이터가 로컬 기기 내에서 처리되어 프라이버시가 보장된다. 향후 더 정교한 학습을 통해 선도적인 음성 인식 모델들과의 오류율 격차를 줄여나갈 계획이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.