← promppy_ 실시간 AI 뉴스
참고팁X

Inkling 2 Mini 로컬 구동 최적화: M5 Ultra 기준 초당 210토큰 확보

루핑 아키텍처를 활용해 메모리 제약 환경에서도 추론 성능과 지능을 동시에 확보하는 로컬 LLM 최적화 사례.

요약

Exo Labs와 Thinky Machines은 공동 협력을 통해 Inkling 2 Mini 모델을 로컬 환경에서 구동하는 성능을 최적화했다. 해당 모델은 96GB M5 Ultra Mac Studio에서 디코드 210 tok/sec 및 프리필 3620 tok/sec, 48GB M5 Max MacBook Pro에서 디코드 125 tok/sec 및 프리필 1750 tok/sec를 기록했다. 벤치마크 테스트 결과, 네이티브 날씨 앱 구현 속도가 Claude Sonnet 3.5 대비 1.8배 빠르며 API 비용은 11배 저렴한 것으로 나타났다. 특히 이번 최적화에는 모델 크기를 늘리지 않고도 추론 시간 컴퓨팅 파워와 지능을 높일 수 있는 루핑 아키텍처가 적용되었다. 이러한 루핑 구조는 메모리 자원이 제한적인 MacBook과 같은 로컬 기기 환경에 최적화된 성능을 제공한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 @exolabs: We worked with @thinkymachines to make Inkling 2 Mini run fast locally: - 210 tok/sec decode, 3620 tok/sec prefill on 96GB M5 Ultr

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스