중요X
Cursor, NVL72용 MoE 학습 메가커널 'Mixture-of-Kittens(MoK)' 오픈소스 공개
MoE 통신·연산을 결정론적 단일 커널로 융합해 공개 기준선 대비 2.37배. 대규모 MoE 학습 인프라 최적화에 참고.
요약
Cursor AI가 엔비디아 NVL72 시스템을 위한 MoE(Mixture-of-Experts) 학습용 메가 커널인 'Mixture-of-Kittens(MoK)'를 오픈소스로 공개했다. 이 커널은 MoE 모델의 통신과 연산을 하나의 결정론적 커널로 통합하여 효율성을 높인 것이 특징이다. MoK는 기존에 공개된 최상위 베이스라인 대비 최대 2.37배 빠른 학습 속도를 제공한다. 이번 오픈소스 공개를 통해 NVL72 환경에서의 대규모 언어 모델 학습 성능 최적화가 더욱 가속화될 것으로 기대된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @cursor_ai: We're open-sourcing Mixture-of-Kittens (MoK), our MoE training megakernel for NVL72s. It fuses all Mixture-of-Experts communicatio
원문 보기 ↗