참고팁Reddit
Ollama(올라마) vs Magnitude 성능 벤치마크: M4 Mac 환경의 디코딩 및 프리필 속도 비교
로컬 LLM 구동 시 프리필 성능이 디코딩 속도에 미치는 영향 확인 가능. 로컬 환경 최적화 참고.
요약
최근 16GB M4 MacBook Pro 환경에서 Ollama(0.40.14)와 Magnitude 엔진의 성능을 비교한 결과, 디코딩 속도는 두 엔진이 50.7 t/s와 52.4 t/s로 대등한 수준을 보였습니다. 그러나 프리필(prefill) 속도에서는 큰 격차가 발생했는데, Ollama가 326 t/s인 반면 Magnitude는 941 t/s로 3배 가까이 빨랐습니다. 실제 4.4k 토큰 규모의 긴 프롬프트 처리 시 첫 토큰 생성까지 Ollama는 13.2초가 소요되었으나 Magnitude는 4.9초 만에 응답했습니다. 또한 메모리 점유율 측면에서도 Magnitude는 약 6GB를 사용해 Ollama의 9.8GB보다 효율적인 자원 관리 능력을 보여주었습니다. 결과적으로 짧은 대화에서는 차이가 없으나, 긴 문맥 처리가 필요한 작업에서는 프리필 속도와 메모리 효율성 면에서 Magnitude가 우위를 점하고 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Ollama caught up on decode on my base M4. The gap I still see is prefill.
원문 보기 ↗