애플 실리콘 전용 추론 엔진 'Kapitsa' 공개: Qwen3.8(큐원 3.8)-27B에서 최대 140 tok/s 지원

요약

애플 실리콘 전용 추론 엔진인 오픈소스 프로젝트 kapitsa가 공개되었다. C++20과 자체 작성한 Metal을 기반으로 구축된 kapitsa는 로컬 환경에서 OpenAI 및 Anthropic API 서버를 구동할 수 있다. Qwen3.8-27b 4bit 모델 실행 시 M5 Max에서 140 tok/s, M5 Pro에서 81 tok/s, M4 Pro에서 63 tok/s의 속도를 기록한다. 이 엔진은 핵심 기술인 kflash를 통해 드래프터가 제안한 토큰 후보들을 트리 구조로 병렬 검증하는 Tree Speculative Decoding 방식을 사용한다. 또한 동시 요청이 발생할 경우 검증 과정을 공유하여 M5 Max 27b 모델 기준 전체 처리량을 최대 23%까지 향상시킬 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.