Qwen3.8(큐원 3.8)-27B 로컬 구동 성능 최적화: 코드 vs 산문 생성 속도 격차 해소법

요약

Kaggle의 2x T4 환경에서 Qwen3.8-27B 모델에 EXL3 4.0bpw 및 DFlash2 블록 드래프터를 적용한 테스트 결과가 공개되었습니다. 코드 생성 시 HumanEval 기준 초당 154 토큰, 전체적으로는 55~57 토큰의 속도를 기록하며 기존 llama.cpp나 vLLM 대비 높은 성능을 보였습니다. 그러나 산문(Prose) 작업 시 토큰 수락률이 평균 2.5개 수준에 머무르며 코드 생성(7개)에 비해 현저히 낮은 효율을 보이고 있습니다. 작성자는 DFlash2나 MTP 사용 시 산문 작업의 수락률을 개선할 방법이나 작업 도중 드래프터를 전환하는 전략에 대해 커뮤니티의 조언을 구하고 있습니다. 또한 P2P를 지원하지 않는 PCIe 기반 T4 환경에서 텐서 병렬 처리를 최적화할 방법에 대해서도 논의가 진행 중입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.