Qwen3.8 Flash Next, Strix Halo 환경서 1.2k t/s prefill 속도 달성

요약

최근 llama.cpp 기반의 Qwen3.8 Flash Next 모델에서 프리필(prefill) 속도 1.2k t/s를 달성하는 최적화 작업이 성공했다. 기존 커뮤니티 포크 버전은 약 400 t/s에 그쳤으나, 폐쇄형 솔루션인 Halogen과 대등한 수준의 성능을 오픈 소스 환경에서 구현해냈다. 이번 성과는 llama.cpp에 커스텀 HIP 런타임을 적용하는 최적화 과정을 통해 이루어졌다. 관련 최적화 코드와 디버깅 과정은 GitHub 브랜치를 통해 공개되었으며, Strix Halo 하드웨어에서 테스트되었다. 실무자들은 오픈 소스 진영의 이러한 성능 개선 사례를 통해 로컬 LLM 구동 효율화의 가능성을 확인할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.