QWEN 3.8 FN 모델, 로컬 환경에서 96t/s 성능 달성... MTP 최적화 기법 공개

요약

최근 한 개발자가 1,500달러 규모의 하드웨어 환경에서 QWEN 3.8 모델을 8비트 FP 양자화하여 초당 96.32 토큰의 처리 속도를 달성했습니다. 해당 모델은 95k의 컨텍스트 길이를 지원하며, 코딩 작업 시 초당 96토큰, 일반 텍스트 처리 시 초당 69토큰의 성능을 보입니다. 이번 성과는 MTP(Multi-Token Prediction) 구현 및 추가적인 최적화 작업을 통해 이뤄졌으며, 토큰 잔차를 24개의 GPU에 분산 처리하는 데 128.0µs가 소요됩니다. 현재 시스템의 병목 현상은 어텐션 연산을 담당하는 구형 RTX 3070 카드로 파악되며, 개발자는 향후 16GB VRAM을 갖춘 GPU로 업그레이드를 고려 중입니다. 관련 최적화 코드는 GitHub(m10dis)를 통해 공개되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.