중요AI타임스
리벨리온, 국산 NPU로 SKT 독자 모델 'A.X K1' 구동 성공
519B MoE를 NPU 단일 서버로 구동. GPU 의존 낮추려는 국산 추론 인프라 대안 주시.
요약
리벨리온이 SK텔레콤의 자체 AI 파운데이션 모델인 'A.X K1'을 자사 신경망처리장치(NPU) 서버에서 구동하는 데 성공했다고 23일 밝혔다. A.X K1은 5190억 개의 매개변수를 가진 대형언어모델(LLM)로, 추론 시 330억 개의 매개변수만 활성화되는 전문가 혼합(MoE) 구조로 설계됐다. 리벨리온은 이 모델에 맞춰 소프트웨어를 최적화하고 반도체 칩에 효율적인 병렬 처리 분산 기술을 구현했다. 이를 통해 NPU 단일 서버만으로도 고성능 GPU 서버에 준하는 인프라 성능을 확보했음을 입증했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 리벨리온, 국산 NPU로 SKT 독자 모델 'A.X K1' 구동 성공
원문 보기 ↗