Qwen 3.8B(큐원 3.8B)-27B 로컬 구동 최적화: ASCII 보캐불러리 프루닝으로 성능 개선

요약

한 개발자가 RTX 5060 Ti 16GB 환경에서 Qwen3.8-27B 모델을 활용해 ASCII 어휘 사전 가지치기(pruning) 기술을 실험한 사례가 공유되었다. 어휘 사전을 248,320개에서 129,006개 토큰으로 축소하여 VRAM을 확보하고 Unsloth Q3_K_XL 타겟 모델과 Q2_K DFlash 드래프트를 동시에 구동하는 데 성공했다. 해당 최적화 결과, 50K 프롬프트 기준 디코드 속도가 Full vocabulary + DFlash4 구성에서 41.73 tok/s까지 도달하며 기존 방식 대비 성능 향상을 보였다. 또한, ASCII 가지치기 적용 시 100k 이상의 컨텍스트를 처리할 때 대규모 프롬프트에서 디코드 속도가 20~40% 이상 개선되는 효율을 기록했다. 이 실험은 로컬 에이전트 워크로드를 위한 컨텍스트 길이, 디코드 속도, VRAM 사용량 간의 실용적인 균형점을 찾는 데 유의미한 수치를 제시했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.