참고AI타임스
프리즘ML, 270억 파라미터 모델 5.9GB로 경량화…온디바이스 AI 성능 입증
27B 모델을 6GB 미만으로 압축해 온디바이스 구동 가능성을 입증한 사례로, 로컬 LLM 최적화 기술 동향 참고.
요약
애플의 인수 검토설로 주목받는 AI 스타트업 프리즘ML(PrismML)이 온디바이스 AI를 위한 새로운 압축 모델을 공개했다. 이번에 선보인 모델은 270억 매개변수 규모의 거대언어모델(LLM)을 5.9GB 수준으로 경량화하여 일반 PC, 노트북, 스마트폰에서도 구동 가능하다. 캘리포니아 공과대학(Caltech) 스핀오프 기업인 프리즘ML은 지난 7월 54GB 모델을 4GB 미만으로 압축해 아이폰 17 프로에서 구동하는 기술력을 입증한 바 있다. 이번 기술 고도화로 온디바이스 AI 시장에서의 입지를 더욱 공고히 할 것으로 전망된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 '애플 인수설' 프리즘ML, 270억 매개변수 모델 5.9GB로 압축
원문 보기 ↗