참고TechCrunch
PrismML, 퀄컴 스냅드래곤 AR1 플랫폼용 1비트 'Bonsai' 모델 공개
온디바이스 AI를 위한 초소형 모델 최적화 사례. 스마트 글래스 등 엣지 디바이스 배포를 고려한다면 참고할 만함.
요약
AI 스타트업 PrismML이 퀄컴의 Snapdragon AR1 Gen 1 플랫폼 기반 스마트 글래스에서 구동되는 1비트 Bonsai LLM을 공개했다. 이번에 선보인 모델은 20억 개의 파라미터로 구성된 시각 및 언어 특화 모델로, 기기 내에서 실시간으로 사물을 인식하고 질의응답이 가능하다. PrismML은 기존 대형 모델을 4분의 1 크기로 압축하면서도 표준 벤치마크 성능을 거의 유지하는 기술을 핵심 강점으로 내세운다. 이 회사는 특정 기업의 클라우드 의존도를 낮추고 기기 자체의 연산 능력을 극대화하는 오픈 웨이트 AI 생태계를 지향한다. 다만 현재까지 해당 모델을 탑재한 구체적인 스마트 글래스 제품은 아직 발표되지 않았다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
원문 보기 ↗