참고팁Reddit
13M ASR 모델을 10달러 마이크로컨트롤러(ESP32-S3)에서 구동하기
엣지 AI 환경에서의 저전력·저비용 모델 배포 사례. 모델 경량화와 메모리 최적화 기법을 직접 확인 가능.
요약
최근 한 개발자가 1310만 파라미터 규모의 Conformer 모델을 10달러 미만의 ESP32-S3 마이크로컨트롤러에서 구동하는 프로젝트를 공개했다. 이는 Nvidia의 소형 Conformer 모델을 증류 및 양자화한 버전으로, 14MB의 플래시 메모리와 256KB의 SRAM, 4MB의 PSRAM 환경에서 8초 분량의 음성을 전사할 수 있다. 초기 시도 시 5초 음성 처리에 10분이 걸리던 속도를 획기적으로 개선했으나, 여전히 실시간 처리에는 어려움이 있는 수준이다. 비교 대상으로 시도했던 Whisper tiny 모델의 경우 5초 음성 처리에 50분 이상이 소요되어 최적화를 중단했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Running a 13M ASR conformer on a microcontroller
원문 보기 ↗