M6 Mac 32GB에서 Qwen3.8(큐원 3.8)-27B 구동 최적화: ANEMLL Forge 0.2.1 업데이트

요약

ANEMLL Forge 0.2.1 업데이트를 통해 M6 Mac Mini(32GB) 환경에서 Qwen3.8-27B 모델을 Apple Neural Engine(ANE)으로 구동할 수 있게 되었으며, 최대 192K 컨텍스트까지 지원한다. 이번 버전은 INT8 K/V 캐시 도입과 드래프터 최적화를 통해 기존 대비 ANE 메모리 사용량을 0.86GB 절감했다. 디코딩 성능은 콘텐츠 유형에 따라 JSON 35~62 tok/s, 코드 18~32 tok/s, 산문 10~17 tok/s 수준이며, 프리필(Prefill) 속도는 짧은 컨텍스트에서 260 tok/s를 기록한다. 192K 컨텍스트를 위한 첫 컴파일은 약 2시간이 소요되지만 캐시 이후에는 단축되며, 사용자는 `--ctx` 옵션을 통해 필요한 만큼만 컴파일하여 시간을 절약할 수 있다. 특히 96K 컨텍스트 설정이 32GB 메모리 환경에서 속도와 용량 측면의 최적 구간(Sweet Spot)으로 권장된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.