칭화대 연구진, 텍스트 대신 KV-캐시 직접 전달하는 모델 간 소통법 'Cache-to-Cache' 공개

요약

칭화대와 5개 연구소가 협력하여 AI 모델 간의 통신 효율을 획기적으로 높인 'Cache-to-Cache' 기술을 발표했다. 이 기술은 모델이 텍스트를 생성해 전달하는 방식 대신, 작업 메모리인 KV-cache를 직접 공유하는 방식을 취한다. 작은 신경망이 레이어 간의 전송을 담당하여 정보 손실 없이 의미를 직접 전달하며, 게이트 메커니즘을 통해 전송 대상 레이어를 결정한다. 테스트 결과, 기존의 텍스트 기반 통신 대비 정확도는 3.1~5.4% 향상되었으며, 단일 모델 사용 시보다 6.4~14.2% 높은 정확도를 보였다. 또한, 텍스트를 생성하고 재해석하는 과정이 생략되어 처리 속도가 2.5배 빨라졌다. 이는 텍스트 기반의 기존 멀티 에이전트 시스템을 넘어설 새로운 통신 방식을 제시했다는 점에서 의미가 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.