참고X
NVIDIA 'TwoTower' 아키텍처: LLM의 속도와 품질 트레이드오프 해결책
기존 LLM의 생성 속도와 품질 문제를 병렬 디노이징 구조로 해결하는 차세대 아키텍처 이론 분석.
요약
NVIDIA는 LLM의 고질적 문제인 속도와 품질 간의 상충 관계를 해결하기 위한 'TwoTower' 아키텍처를 발표했다. 기존의 오토레그레시브 모델은 한 번에 하나의 토큰을 생성해 느리지만, TwoTower는 사전 학습된 모델을 복제해 'Context Tower'와 'Denoiser Tower'로 분리함으로써 병렬 처리를 가능하게 했다. Context Tower는 기존 문맥을 유지하고, Denoiser Tower는 블록 단위로 토큰을 동시에 생성하며 층별 교차 어텐션(Cross-attention)을 통해 정보를 주고받는다. 그 결과 30B 하이브리드 Mamba-Transformer MoE 백본 기반에서 2.42배 높은 생성 처리량(throughput)을 기록하면서도 원본 모델 품질의 98.7%를 유지했다. 사전 학습 데이터의 일부인 약 2.1T 토큰만으로 학습 가능하며, 기존 오토레그레시브 모델 위에 적용할 수 있어 저지연 서비스에 최적화된 방법론이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: NVIDIA might just have solved the biggest tradeoff in LLMs. Every LLM makes you pick between speed and quality. Autoregressive mod
원문 보기 ↗