텐센트, 추측 디코딩 성능 높인 'DSpine' 아키텍처 발표

요약

최근 Reddit에서 주목받는 DSpine은 추측 디코딩(Speculative Decoding)의 효율성을 개선하기 위한 새로운 드래프터 모델이다. 기존 병렬 추측 디코딩은 토큰 선택 과정에서 독립적인 연산으로 인해 일관성이 떨어져 수용되는 프리픽스 길이가 짧아지는 한계가 있었다. 이를 해결하고자 제안된 DSpine은 백본 네트워크의 깊이에 따라 인접한 토큰 간의 인과적 관계를 주입하는 방식을 사용한다. 구체적으로는 모든 레이어에서 게이트 기반의 인접 주입(Gated Adjacent Injection)을 통해 선행 토큰의 예측 특징을 후속 토큰에 기록하여 인과적 조건부 연쇄를 형성한다. 이러한 방식을 통해 DSpine은 네트워크 깊이 전반에 걸쳐 정보를 전달함으로써 추측 디코딩의 정확도와 성능을 높인다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.