참고X
MagicAI, 알고리즘 효율화로 DeepSeek V4 Pro 수준의 사전 학습 달성 주장
50배 적은 연산으로 동급 성능 구현했다는 주장. 대규모 인프라 없이 고성능 모델 학습 가능성을 시사.
요약
AI 스타트업 MagicAI가 10만 개의 GPU 칩 없이도 프런티어 모델 사전 학습이 가능하다는 것을 알고리즘 효율성으로 입증했다. 이들은 새로운 학습 레시피를 통해 DeepSeek V4 Pro와 동등한 수준의 사전 학습 성능을 50배 적은 컴퓨팅 자원으로 달성했다. 이는 GPT-3 학습에 사용된 FLOPs의 약 절반 수준이며, GB200 기준으로 약 50만 달러의 비용만 소요된 수치다. 이번 성과는 거대 자본을 보유한 빅테크 기업 위주의 모델 학습 경쟁에서 알고리즘 최적화가 핵심적인 돌파구가 될 수 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @magicailabs: Frontier pretraining is said to be a big-lab-only game. We don’t have 100k chips yet, so there’s only one way: algorithmic efficie
원문 보기 ↗