참고AI타임스
프린스턴대, 이전 계산 결과 직접 연결하는 '순환 루프 변환기(RLT)' 공개
기존 KV 캐시 방식의 한계를 보완할 수 있는 새로운 트랜스포머 아키텍처 연구로 기술적 주목이 필요합니다.
요약
프린스턴대 연구진이 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처인 '순환 루프 변환기(RLT·Recurrent Looped Transformer)'를 12일(현지시간) 공개했다. 기존의 디코더 전용 LLM은 이전 토큰 정보를 KV 캐시에 저장해 어텐션으로 재참조하는 방식에 그치지만, RLT는 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계로 직접 전달한다. 연구진은 이러한 구조를 통해 계산 효율성과 정보 전달의 연속성을 높이는 설계를 제안했다. 이번 연구는 알파카이브(alphaXiv)를 통해 상세 내용이 발표되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 프린스턴대, 이전 계산 결과 이어서 토큰 생성하는 '순환 루프 변환기' 공개
원문 보기 ↗