엔비디아, 모델 간 'KV 캐시 전송' 기술 공개…에이전트 라우팅 병목 개선

요약

엔비디아가 AI 모델 간 전환 시 발생하는 라우팅 병목 현상을 해결하기 위해 '크로스 모델 KV 캐시 전송(Cross-Model KV Cache Transfer)' 기술을 공개했다. 이 기술은 AI 에이전트 작업 중 모델을 변경할 때 기존 모델이 축적한 KV 캐시를 새로운 모델이 재활용할 수 있도록 변환해 준다. 기존 방식은 모델 전환 시 수신 모델이 문맥을 다시 학습해야 해 막대한 연산 비용과 지연 시간이 발생했다. 엔비디아의 새로운 접근법은 선형 연산을 통해 모델 간 정보 전달을 효율화함으로써 이러한 병목 문제를 크게 완화한다. 해당 기술은 장시간 이어지는 AI 에이전트 작업의 효율성을 개선하는 데 기여할 것으로 기대된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.