샤오미, 120B 파라미터 모델 구동 가능한 데스크탑 AI 하드웨어 공개
클라우드 의존 없이 로컬에서 대형 모델을 운영할 수 있는 하드웨어 대안으로 주목할 만함.
요약
샤오미가 일반적으로 클라우드 환경에서 구동되는 1200억 파라미터 규모의 거대언어모델(LLM)을 소형 데스크톱 장치에 탑재하는 데 성공했다. 해당 장치에는 샤오미가 자체 설계한 칩 3개가 탑재되어 있어 강력한 온디바이스 AI 성능을 제공한다. 또한 샤오미는 자사의 인공지능 모델인 MiMo를 허깅페이스(Hugging Face)를 통해 누구나 상업적으로 이용하거나 파인튜닝할 수 있도록 오픈소스로 공개했다. DeepSeek, Qwen, Kimi 등 중국 내 주요 AI 모델들이 가중치를 공개함에 따라, 샤오미는 이를 구동할 수 있는 하드웨어 보급에 집중하고 있다. 이번 기술적 성과는 고성능 AI 모델의 접근성을 높이고 하드웨어와 소프트웨어의 결합을 가속화할 것으로 전망된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @IntCyberDigest: ❗️Xiaomi just fit a 120-billion-parameter AI model into a small desktop box, the class of model people normally rent from the clou
원문 보기 ↗