로컬 LLM 성능 최적화: 듀얼 GPU를 활용한 OS/브라우저 분리 전략

요약

윈도우(WDDM) 환경에서 고해상도 디스플레이와 함께 LLM을 구동할 때, Chrome 등 일반 애플리케이션의 GPU 점유가 추론 성능에 영향을 미치는 현상이 확인되었다. 테스트 결과 4K 240Hz 모니터 환경에서 Chrome이 실행 중일 때 51 tok/s인 추론 속도가 Chrome을 종료하면 64 tok/s까지 향상되는 것으로 나타났다. 이는 화면 렌더링이 긴 컨텍스트 연산과 자원을 공유하면서 발생하는 간섭 때문으로 분석된다. 이에 한 사용자는 약 190달러(약 28,800엔)에 리퍼비시 RTX 2080 Super를 구매해 해결책을 마련했다. 메인 GPU인 5090은 LLM 추론에 전담시키고, 디스플레이 출력 및 일반 소프트웨어는 2080 Super가 담당하도록 분리하여 성능 저하를 방지하려는 전략이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.