8달러짜리 마이크로컨트롤러에서 29M 파라미터 LLM 구동 성공

요약

ESP32-S3 마이크로컨트롤러(약 8달러)에서 2,890만 개의 파라미터를 가진 LLM을 구동하는 기술이 개발되었다. 이 모델은 서버 연결 없이 칩 내부에서 초당 약 9 토큰의 속도로 텍스트를 생성하며, 기존 유사 칩에서 구동되던 모델(26만 파라미터)보다 약 100배 큰 규모이다. 512KB의 제한된 SRAM을 극복하기 위해 구글의 Gemma 모델 기술인 'Per-Layer Embeddings' 방식을 적용했다. 대부분의 파라미터를 RAM이 아닌 느린 플래시 메모리에 배치하고, 토큰 생성에 필요한 데이터(약 450바이트)만 실시간으로 메모리로 불러오는 방식을 사용한다. 이 접근법을 통해 소형 하드웨어에서도 대규모 언어 모델을 효율적으로 실행할 수 있는 가능성을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.