참고팁X
Muse Glimmer MLX 버전, Ollama에서 45~50 t/s 성능 기록
Muse Glimmer MLX 버전을 Ollama로 로컬 구동 시 성능 확인. 저사양 로컬 세팅 환경 구축 시 참고용.
요약
X 사용자가 Muse Glimmer MLX 버전을 Ollama를 통해 로컬에서 구동한 결과, 초당 45~50 토큰(t/s)의 속도를 기록했다. 해당 모델은 Hermes Agent 설정과 함께 테스트되었으며, 전날부터 실행한 결과 안정적인 성능을 보였다. 사용자는 모델의 크기 대비 상당히 인상적인 성능이라고 평가했다. 다만, 훨씬 더 큰 규모의 모델과 직접적인 성능 비교는 어렵다는 점을 언급했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @ai_for_success: Running the Muse Glimmer MLX version locally via Ollama, and I’m getting around 45 to 50 t/s. I tested it with my Hermes Agent set
원문 보기 ↗