참고AI타임스
Ai2, MoE 학습 효율 2.7배 높인 '올모 코어 3' 오픈소스 공개
대규모 언어 모델의 학습 효율을 개선하는 새로운 오픈소스 프레임워크. 학습 인프라 구축이나 최적화 연구 시 검토 대상.
요약
앨런 AI 연구소(Ai2)가 대규모 언어 모델(LLM)의 학습 효율을 획기적으로 개선한 오픈소스 프레임워크 'Olmo-core 3'를 공개했다. 이 프레임워크는 기존 학습 시스템을 전면 재설계하여 470억 개 매개변수 규모 모델에서 GPU당 처리량을 약 2.7배 향상시켰다. AI 모델의 규모가 커짐에 따라 발생하는 막대한 GPU 자원과 비용 문제를 해결하기 위해 개발되었다. 'Olmo-core 3'는 수조 개 매개변수 규모의 거대 모델 학습까지 지원하도록 설계되어 효율적인 AI 개발 환경 구축에 기여할 것으로 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개
원문 보기 ↗