LLM 추론 속도 2-3배 향상시키는 'Speculative Decoding' 원리 및 활용
구글 검색이 도입한 Speculative Decoding 기술의 상세 작동 원리. 추론 지연 시간이 고민이라면 드래프트 모델 활용을 고려할 것.
요약
Speculative decoding 기술은 LLM 추론 속도를 2~3배 향상시킬 수 있는 방법으로, 구글 검색의 AI Overviews에도 적용되고 있습니다. 이 방식은 기존의 자동 회귀(autoregressive) 방식이 토큰을 하나씩 생성하며 GPU 자원을 낭비하는 문제점을 해결하고자, 가벼운 드래프트 모델이 여러 토큰을 먼저 제안하고 타겟 모델이 이를 한 번에 검증합니다. 드래프트 토큰을 생성하는 주요 방식으로는 별도의 소형 모델을 활용하는 Two-model speculative decoding, 타겟 모델의 히든 스테이트를 학습한 EAGLE, 예측 헤드를 부착한 Medusa, 초기 레이어를 활용하는 LayerSkip이 있습니다. 제안된 토큰이 타겟 모델의 결과와 일치하면 그대로 채택하고, 오류가 발생하면 수정하는 과정을 거치며 출력 분포는 타겟 모델과 동일하게 유지됩니다. 실무적으로는 드래프팅 시간과 검증 오버헤드, 메모리 사용량을 고려하여 타겟 모델 패스당 실제 수용된 토큰 수를 확인하는 것이 중요합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: This technique makes LLM inference 2-3x faster: (Google Search uses this in production) Under autoregressive decoding, the target
원문 보기 ↗