LLM 추론 속도 최적화: CUDA Graphs 활용법

요약

LLM을 더 빠른 GPU로 교체해도 토큰 생성 속도가 개선되지 않는 이유는 CPU의 커널 실행 준비 작업(launch overhead) 때문일 가능성이 큽니다. 개별 연산이 짧은 LLM 디코딩 과정에서는 CPU가 GPU에 작업을 전달하는 속도가 GPU의 처리 속도를 따라가지 못해 대기 시간이 발생합니다. 이를 해결하는 핵심 기술은 CUDA Graphs로, 반복되는 연산 시퀀스를 한 번 캡처한 뒤 이를 하나의 그래프로 실행하여 CPU의 오버헤드를 제거합니다. 다만, CUDA Graphs는 고정된 연산 구조와 메모리 주소를 전제로 하므로 입력 시퀀스 길이나 배치 사이즈가 바뀌면 활용이 어렵습니다. 따라서 vLLM이나 TensorRT-LLM과 같은 추론 엔진은 다양한 실행 사례에 맞춰 여러 개의 그래프를 캡처하여 사용하는 방식을 채택하고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.