참고AI타임스
180B 모델, 개인 노트북 구동... 비드래프트, 고성능 모델 경량화 공개
초대형 모델의 로컬 구동 가능성 확대. 경량화 기술 적용 모델에 관심 있는 개발자라면 주목.
요약
AI 딥테크 기업 비드래프트가 ‘큐원3.8-플래시-넥스트’를 기반으로 개발한 1800억 매개변수(180B) 규모의 고성능 모델 경량화 버전을 6일 미국 허깅페이스와 중국 모델스코프에 동시 공개했다. 원본 모델인 ‘다윈-180B-RSI’는 BF16 정밀도 기준 360GB에 달하는 초대형 모델이나, 비드래프트는 일부 파라미터를 선별적으로 활성화하는 경량화 기술을 적용했다. 이를 통해 고가의 엔비디아 B200 GPU 4~8장급 자원 없이도 일반적인 개인용 노트북 환경에서 모델 구동이 가능해졌다. 이번 성과는 거대 언어 모델의 성능 유지와 인프라 비용 절감이라는 두 가지 과제를 동시에 해결했다는 점에서 의의가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 “180B 모델, 개인용 노트북으로 구동”...비드래프트, 고성능 모델 경량화 전략 이어간다
원문 보기 ↗