참고팁Reddit
Strata 0.1.52 업데이트, Qwen 3.8(큐원 3.8) 모델 추론 성능 향상
동일 모델에서도 엔진 업데이트로 토큰 처리 속도가 유의미하게 개선됨. 로컬 LLM 환경 사용 시 업데이트 권장.
요약
Reddit 사용자 u/Squale279가 Strata 엔진 0.1.52 업데이트 이후 Qwen 3.8 FN 모델의 추론 성능이 대폭 향상되었다고 보고했다. 테스트 시스템은 Intel Core i5 11400, RTX 3060 Ti 12GB, RAM 96GB 환경이다. 이전 엔진 버전 0.1.50에서 35~45 tps였던 디코딩 속도가 0.1.52 버전에서는 50~75 tps로 크게 개선되었다. 특히 128k 컨텍스트 설정뿐만 아니라 384k의 고컨텍스트 환경에서도 55~65 tps의 안정적인 속도를 유지하는 것으로 나타났다. 로컬 LLM 운영 환경에서 엔진 최적화를 통한 성능 최적화 사례로 주목된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 New Strata [engine] 0.1.52 is really impressive with Qwen 3.8 FN
원문 보기 ↗