참고팁Reddit
로컬 추론 가속 도구 'Basalt' 0.4.0 릴리즈: Qwen 3.8(큐원 3.8) 27B 지원 및 속도 개선
Basalt 0.4.0 업데이트로 Qwen 27B(큐원 27B) 모델 등 멀티모델 지원 및 추론 속도 최적화가 이루어짐. 로컬 모델 구동 환경 사용자에게 유용함.
요약
로컬 LLM 최적화 도구인 Basalt가 0.4.0 버전으로 업데이트되며 다양한 기능 개선과 모델 지원이 추가되었습니다. 이번 업데이트의 핵심은 첫 번째 덴스(dense) 모델인 Qwen 3.8 27B 지원으로, RTX 5090 환경에서 구조화된 출력 시 최대 776 tok/s, 대화 시 262 tok/s의 빠른 처리 속도를 구현했습니다. 특히 정밀도 면에서 BF16 모델 대비 92.8%의 정확도를 유지하며, 추후 출시될 Qwen 4를 위한 커널 준비도 마쳤습니다. 이와 함께 DeepSeek V4.1 Flash를 위한 멀티 모델 및 라우터 지원이 구현되었으며, 영상 인식, 파일 업로드, 최대 262K 컨텍스트 등 다양한 실무적 기능이 대폭 보강되었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Basalt 0.4.0: More models, still as fast - Qwen 27B up to 770 tok/s on a 5090
원문 보기 ↗