Qwen 3.8(큐원 3.8) 27B 경량화 모델 'Caphlon-Model' 공개

요약

Qwen 2.5 27B 기반의 Caphlon-Model이 6.87 GiB 용량의 GGUF 파일로 경량화되어 8GB RAM 노트북에서 구동 가능하다. 개발자는 증류 방식이 아닌 모델 구조를 직접 수정하는 방식을 채택해 추론 능력을 보존했다. 상세 기술로는 100k 규모로 어휘 사전을 축소해 약 649 MiB를 절감하고, 중복되는 4개 레이어(12~15)를 제거해 약 302 MiB를 추가로 줄였다. 최종 모델은 Unsloth Dynamic IQ2_S GGUF 형식으로 양자화되었다. 벤치마크 결과, HumanEval에서 96.7%의 성능을 유지했으며 MMLU 서브셋에서도 92.9%의 성능을 기록하는 등 원본 대비 높은 효율성을 입증했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.