Apple(애플) Neural Engine 성능 최적화: DRAM 스트리밍 병목 회피 가이드

요약

Apple M3 Neural Engine의 RTL 성능 오류로 인해 특정 조건에서 DRAM 가중치 스트리밍 처리량이 45~60GB/s에서 17~19GB/s로 급감하는 현상이 발견되었습니다. 이 문제는 전체 가중치 크기가 1MiB의 정수 배수일 때 발생하며, ANEMLL 모델 15개 중 7개가 영향을 받는 것으로 확인되었습니다. 커널 DMA 엔진의 추측성 프리페치 링(speculative prefetch ring)에서 문제가 되는 경로를 회피하도록 최적화하자 Llama 3.2 1B 모델의 토큰 처리량이 초당 10.0에서 24.3개로, DRAM 사용량은 24.7GB/s에서 60.0GB/s로 크게 향상되었습니다. 또한 Qwen3-8B 모델에서도 토큰 처리량이 초당 1.36에서 2.97개로 개선되는 성과를 거두었습니다. 이번 분석은 M3 Air 환경에서 수행되었으며, 특정 차원(D=2048)에서 성능 저하가 발생하는 공진 현상이 메모리 컨트롤러 처리량과 밀접하게 연관되어 있음을 보여줍니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.