12GB VRAM에서 구동 가능한 Ternary-Nemotron-30B-A3B 모델 공개

요약

최근 Reddit의 LocalLLaMA 커뮤니티에서 1.58비트 삼항(Ternary) 모델인 Ternary Nemotron 30B-A3B가 주목받고 있다. 이 모델은 30B-A3B MoE 구조를 채택하면서도 12GB VRAM GPU에서 구동 가능한 효율성을 갖췄으며, 368K에 달하는 방대한 컨텍스트 길이를 지원한다. 성능 면에서는 172 tok/s의 디코드 속도와 7000+ tok/s의 프리필 속도를 기록했다. 해당 모델은 llama.cpp 및 PrismML 포크 엔진 모두에서 즉시 사용 가능하며, 단일 파일로 배포된다. 현재 maple-preview에 이어 llama.cpp와 호환되는 두 번째 삼항 MoE 모델로, 로컬 환경에서의 LLM 최적화 사례로 관심을 끌고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.