비드래프트, GPU 없이 NPU만으로 언어모델 사전학습 성공

요약

비드래프트가 추론 전용 신경망처리장치(NPU)만으로 언어모델을 사전학습하는 데 성공하며 소형 언어모델 'VKORE-46M-NPU'를 허깅페이스에 14일 공개했다. 통상적으로 학습용 역전파 연산이 어려운 NPU의 한계를 자체 기술로 극복했으며, 2025년 출시된 1세대 추론 전용 NPU를 활용해 사전학습된 가중치 없이 처음부터 모델을 학습시켰다. 학습 결과는 고성능 GPU와 비교했을 때 손실 궤적 상관계수 0.99를 기록해 학습 과정의 높은 유사성을 입증했다. 비드래프트는 이번 기술을 NPU 전용 가속 소프트웨어 계층인 '브이코어(VKORE)'에 통합해 추론 가속과 사전학습, 저순위 적응(LoRA) 미세조정을 지원하는 소프트웨어 생태계를 구축할 계획이다. 향후 기업들이 고가의 GPU 인프라 의존 없이 자체 환경에서 AI 모델을 학습하고 운영할 수 있는 효율적인 기술을 고도화할 방침이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.