참고팁Reddit
로컬 LLM 추론 실시간 모니터링 툴 'Stratoscope' 공개
로컬 LLM 실행 시 토큰 속도와 캐시 히트를 메뉴바에서 바로 확인 가능. 디버깅 및 최적화에 유용.
요약
로컬 LLM 추론 상태를 별도의 창을 열지 않고도 실시간으로 모니터링할 수 있는 도구인 Stratoscope가 공개되었다. 이 도구는 Mac 메뉴 바나 Windows 작업 표시줄에 상주하며, 현재 로컬 LLM의 prefill/decode tok/s, 프롬프트 캐시 적중률, 컨텍스트 사용량, 그리고 RAM/GPU/CPU 점유율을 시각적으로 보여준다. 현재는 Strata 엔진을 지원하지만, 구조적으로 각 추론 엔진을 소형 어댑터 형태로 연결할 수 있어 향후 지원 확대가 용이하다. MIT 라이선스를 따르는 오픈소스 프로젝트로, GitHub을 통해 무료로 이용할 수 있다. 개발자는 현재 다른 추론 엔진 지원에 대한 기여와 제안을 환영하고 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Stratoscope: Monitor local LLM token speed, cache hits & context usage live in your menu bar (Mac/Windows, MIT)
원문 보기 ↗