AMD 환경서 Qwen 27B(큐원 27B) 262k 컨텍스트 구동 성공 사례

요약

최근 llama.cpp에 적응형 KV 스트리밍(Adaptive KV Streaming)과 RDNA 4/ROCm 최적화를 구현하여 16GB VRAM을 탑재한 RX 9070 XT GPU에서 Qwen2.5-27B 모델을 구동하는 사례가 공유되었다. 기존에는 16GB VRAM에서 Qwen 27B 모델(IQ4_XS)과 262,144 토큰의 전체 컨텍스트를 모두 처리할 경우 VRAM 부족으로 OOM(Out of Memory)이 발생했다. 이를 해결하기 위해 개발자는 비ASCII 어휘를 삭제하여 모델 크기를 약 13.6GB로 줄이고, NVIDIA/CUDA용으로 개발된 적응형 KV 스트리밍 기술을 ROCm/HIP 환경으로 포팅했다. 그 결과, 262k 컨텍스트를 유지하면서도 80+ t/s의 디코딩 속도를 달성하며 단일 16GB GPU에서 대규모 컨텍스트 추론이 가능해졌다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.