← promppy_ 실시간 AI 뉴스
참고팁X

Soumith Chintala, 로컬 구동 최적화 27B MoE 모델 공개

32GB 메모리 환경에서 구동 가능한 효율적 모델. 로컬 LLM 환경에서 벤치마크 성능 확인 및 실행 고려.

요약

메타의 AI 연구원 수미트 친탈라(Soumith Chintala)가 새로운 'mini model'을 공개했다. 이 모델은 27B 파라미터 규모의 루핑 MoE(Mixture of Experts) 구조를 가지며, 실제 활성 파라미터는 3B 수준으로 최적화되었다. 32GB 메모리를 탑재한 DGX Spark와 Mac Mini에서도 구동이 가능할 정도로 효율성이 높다. 성능 평가 결과 Qwen 3.8 27B 모델과 유사한 수준을 보였다. 현재 DGX Spark 환경에서 약 75 tok/s의 디코딩 속도를 기록하고 있으며, 추가적인 최적화를 통해 속도를 개선할 예정이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @soumithchintala: mini model is out. 27B looping MoE, 3B active. fits on a 32GB memory machine. Been running this on my DGX Spark, Mac Mini. Evals a

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스