참고팁Reddit
Qwen 3.8 27B 로컬 구동 30일 테스트 결과... 초당 73.8 토큰 생성 확인
실사용 환경에서의 속도와 성능을 검증한 데이터로, 로컬 LLM 도입 시 성능 예측의 구체적인 가이드라인이 됨.
요약
한 사용자가 Qwen 3.8 27B 모델을 30일간 로컬 환경에서 구동한 결과를 공유했다. 해당 모델은 Unsloth Qwen3.8-27B-UD-Q4_K_XL 버전으로, 프롬프트 처리 속도는 최대 1729.5 t/s, 평균 845.1 t/s를 기록했다. 토큰 생성 속도는 평균 73.8 t/s이며, MTP(Multi-token prediction) 수용률은 0.481을 보였다. 작성자는 이 모델을 소규모 코딩 에이전트 및 프로덕션 서비스에 활용한 결과, Kimi나 Qwen 3.8 Max와 같은 유료 구독 서비스와 비교해도 성능 차이가 거의 없다고 평가했다. 특히 비전문가에게도 추천할 수 있을 만큼 범용적인 기본 작업 처리에 뛰어난 성능을 보인다고 강조했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I ran Qwen 3.8 27B locally for 30 days, here are the results
원문 보기 ↗