참고팁X
로컬 LLM 추론 엔진 'uzu' 공개…llama.cpp 대비 4배 빠른 속도
추론 방식 개선으로 로컬 LLM의 토큰 생성 속도를 비약적으로 향상시킨 새로운 엔진. 로컬 모델 구동 환경에 적용 고려.
요약
Mirai Labs가 공개한 새로운 로컬 LLM 추론 엔진 'uzu'가 llama.cpp 대비 4배 빠른 처리 속도를 기록했다. M5 MacBook Pro에서 Qwen3.5 9B 모델을 테스트한 결과, uzu는 92.1 tokens/s의 속도를 보여 llama.cpp(22.0 tokens/s)와 MLX(25.1 tokens/s)를 압도했다. 기존 로컬 추론이 토큰 생성 시 모델 전체 가중치를 메모리에서 읽어야 하는 한계(메모리 대역폭 제한)를 극복하기 위해, uzu는 'Speculative Decoding' 방식을 활용한다. 소형 드래프터(DFlash)가 16개의 토큰 후보를 제안하고, Weaver 어댑터가 이를 검증하여 한 번의 패스로 평균 7.5개의 토큰을 생성하는 구조다. Rust 기반으로 작성되어 Metal 커널을 사용하며, Swift, Python, TypeScript 등 다양한 바인딩을 지원하여 Mac 및 iOS 앱에 쉽게 통합할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: Big win for local LLM inference! This new inference engine runs LLMs 4x faster than llama.cpp: I ran Qwen3.5 9B on a base M5 MacBo
원문 보기 ↗