참고팁X
Inkling 2 Mini 로컬 구동 최적화: M5 Ultra 기준 초당 210토큰 확보
루핑 아키텍처를 활용해 메모리 제약 환경에서도 추론 성능과 지능을 동시에 확보하는 로컬 LLM 최적화 사례.
요약
Exo Labs와 Thinky Machines은 공동 협력을 통해 Inkling 2 Mini 모델을 로컬 환경에서 구동하는 성능을 최적화했다. 해당 모델은 96GB M5 Ultra Mac Studio에서 디코드 210 tok/sec 및 프리필 3620 tok/sec, 48GB M5 Max MacBook Pro에서 디코드 125 tok/sec 및 프리필 1750 tok/sec를 기록했다. 벤치마크 테스트 결과, 네이티브 날씨 앱 구현 속도가 Claude Sonnet 3.5 대비 1.8배 빠르며 API 비용은 11배 저렴한 것으로 나타났다. 특히 이번 최적화에는 모델 크기를 늘리지 않고도 추론 시간 컴퓨팅 파워와 지능을 높일 수 있는 루핑 아키텍처가 적용되었다. 이러한 루핑 구조는 메모리 자원이 제한적인 MacBook과 같은 로컬 기기 환경에 최적화된 성능을 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @exolabs: We worked with @thinkymachines to make Inkling 2 Mini run fast locally: - 210 tok/sec decode, 3620 tok/sec prefill on 96GB M5 Ultr
원문 보기 ↗