Qwen 3.6(큐원 3.6) 35B 로컬 구동 최적화: Polystrata 활용 시 기존 llama.cpp 대비 82% 향상

요약

Reddit의 r/LocalLLM 커뮤니티에서 RTX 4070 SUPER(12GB VRAM) 환경에서 Qwen 3.6 35b a3b 모델을 실행할 때 Polystrata 사용을 추천하는 사례가 공유되었다. 작성자는 HauhauCS uncensored Aggressive TTQ Q4_K_M GGUF 버전 모델과 MTP 기능을 활용하여 8K 컨텍스트에서 140 tok/s의 디코딩 속도를 기록했다. 이는 기존 llama.cpp 설정 대비 디코딩 속도는 약 82%, 프리필 처리량은 약 1.3배 향상된 성능이다. 32K 컨텍스트에서도 100 tok/s의 준수한 속도를 보였으며, 메모리 자원이 제한적인 환경에서 효율적인 실행 방법을 제시했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.