NVIDIA(엔비디아), 레이어 반복 실행하는 루프 트랜스포머 'Dory1.0-4B' 공개

요약

NVIDIA는 모델의 층을 쌓는 대신 동일한 층을 반복 실행해 파라미터 대비 추론 능력을 극대화한 'Dory1.0-4B' 루프 트랜스포머를 공개했다. 이 모델은 입력 블록, 반복 실행되는 20개의 공유 블록, 출력 블록으로 구성되며, 반복 횟수(k)를 늘림으로써 4B 모델임에도 9B~26B 모델 수준의 성능을 구현한다. 실제 SWE-bench Verified 결과에서 루프 횟수가 1회일 때 50.3이었던 점수가 4회 실행 시 61.8까지 상승했다. NVIDIA는 연산 효율성을 고려해 루프 횟수 2회를 기본값으로 권장하며, 이는 1회 실행 대비 비용 증가가 1.03~1.25배 수준에 불과하다. 단, 루핑은 기존 지식을 활용한 추론 능력은 개선하지만 지식 자체를 추가하지는 않아, AA-Omniscience와 같은 지식 기반 과제에서는 성능 향상이 제한적이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.