중요X
Escha, 2비트 양자화 Qwen3.8-27B 공개…RTX 5090서 82.6 tok/s 기록
10.15GB로 FP8 성능 100% 유지. 단일 RTX 5090 로컬 추론 검토 시 실질 선택지.
요약
Eschalabs가 2-bit 양자화를 적용한 'Escha 2-bit Qwen3.8-27B' 모델을 공개했다. 해당 모델은 전체 용량이 10.15GB이며, 커스텀 SGLang 런타임을 통해 RTX 5090 단일 그래픽카드에서 초당 82.6 토큰의 속도로 구동된다. 8개의 벤치마크 테스트 결과, FP8 성능 대비 평균 약 100%의 효율을 기록했으며 특히 LiveCodeBench v6에서는 86.81점을 받아 FP8(85.16점)을 상회하는 성과를 보였다. 라이선스는 Apache-2.0을 따르며, 추후 전체 런타임 스택 오픈소스 공개 및 27B dense 모델과 35B MoE 모델에 대한 GGUF 릴리스가 예정되어 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @Eschalabs: Escha 2-bit Qwen3.8-27B is live! The full model is 10.15GB on disk, runs at 82.6 tok/s on a single RTX 5090 with our custom SGLang
원문 보기 ↗