애플 실리콘 최적화 추론 엔진 'Kapitsa' 업데이트: M5 Max 환경 성능 개선 및 모델 지원 확대

요약

오픈소스 추론 엔진 Kapitsa가 업데이트 0.2.26을 통해 Apple Silicon 환경에서의 최적화 성능을 강화했다. 이번 업데이트로 Flash-Next 180B 모델의 프롬프트 처리 속도는 46% 향상되었으며, 27B 모델의 쓰기 속도 또한 8% 개선되었다. 또한, 새롭게 DiffuSpace의 Clover 35B 모델을 지원하며 모델 카탈로그를 확장했다. 특히 Qwen Flash-Next 180B 모델은 SSD 오프로딩 기술을 통해 48GB 메모리의 MacBook Pro에서도 61 tok/s의 속도로 구동 가능하다. Kapitsa는 로컬 환경에서 OpenAI 및 Anthropic 호환 API를 제공하며 스트리밍, 도구 호출, JSON 스키마 출력 기능을 지원한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.