Qwen 3.8 27B 양자화별 성능 벤치마크 (RTX 6000 기준)

요약

Reddit의 r/LocalLLaMA 커뮤니티에서 Qwen 3.8 27B 모델의 Atomic Dynamic(AD) GGUF 양자화 버전을 RTX 6000 환경에서 테스트한 결과를 공개했다. 테스트는 복셀 아일랜드 생성 작업을 통해 수행되었으며, AD-Q4_K_M부터 Q8_0까지 4개 양자화 버전을 비교했다. 성능 지표에 따르면 AD-Q4_K_M은 67 tok/s로 가장 빠른 속도를 보였고, Q8_0은 28.9 GB 메모리를 사용하여 BF16 대비 98.9%의 정확도를 기록했다. 테스트 결과 모든 양자화 버전이 유사한 성능을 보였으며, 경우에 따라 Q4 버전이 선호되기도 했다. 다만, 작업의 안정성을 고려할 때 AD-Q6_K 버전을 가장 권장하는 모델로 제안했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.