참고팁Reddit
Ollama(올라마) 최적화: NixOS에서 CPU P-코어와 E-코어 할당 분리해 성능 확보하기
로컬 LLM 실행 시 시스템 리소스를 효율적으로 분리하여 추론 속도를 높이는 구체적인 설정값.
요약
한 레딧 사용자가 13세대 인텔 i7 CPU에서 Ollama 실행 성능을 최적화하기 위해 P코어와 E코어를 분리하는 구성을 공개했다. 해당 사용자는 NixOS 설정을 통해 모든 사용자 애플리케이션과 데스크톱 세션을 E코어(17-23번)로 강제 할당했다. 반면 Ollama와 그 자식 프로세스는 P코어(1, 3, 5, 7, 9, 11, 13, 15번)만 사용하도록 CPUAffinity 및 AllowedCPUs를 지정해 VIP 권한을 부여했다. 또한 각 코어 세트에 대해 부하와 온도에 따라 성능을 조절하는 별도의 거버너를 구축하여 효율성을 높였다. 이러한 설정을 통해 리소스 간섭을 최소화하고 추론 작업의 성능을 안정적으로 유지할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 i use all my p cores for ollama and little system processes and have two thermal/load governers....
원문 보기 ↗