참고팁Reddit
Apple Silicon에서 Jev 스타일 추론 구동하는 'Laya MPS' 공개
Jev 방식의 타입 결정 모델을 로컬(M5 Pro)에서 경량화하여 구동 가능. 로컬 에이전트 워크플로우 구축 시 참고할 만한 효율적인 런타임.
요약
개발자 afshinm은 Apple Silicon 환경에서 Jev 스타일의 타입 기반 결정을 로컬로 실행할 수 있는 PyTorch 런타임인 'Laya MPS'를 공개했다. M5 Pro 칩셋 환경에서 테스트한 결과, 기본 모드는 약 32ms의 지연 시간과 2.1GB의 최대 RAM을 사용하며, 최저 메모리 모드는 약 171ms의 지연 시간과 0.74GB의 최대 RAM을 소모한다. 모든 모드는 FP32 환경에서 동일한 전체 모델을 실행하며, 메모리 사용량을 줄이기 위해 임베딩 읽기 및 모델 레이어를 디스크에서 실행하는 옵션을 제공한다. 또한, 실시간 지연 시간 벤치마크 기능을 포함한 데모와 로컬 HTTP API를 기본으로 지원한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Run Jev-style typed decisions locally on Apple Silicon
원문 보기 ↗