문맥 정보를 모델 가중치에 내재화하는 'Cortex' 학습법 공개

요약

최근 공개된 Cortex는 대규모 언어 모델에서 컨텍스트를 제거해도 성능이 유지될 수 있도록 돕는 메모리 통합(Memory Consolidation, MC) 프레임워크를 제안합니다. 이 모델은 생물학적 시스템의 통합 과정에서 영감을 받아 컨텍스트를 활용한 결과물을 저차원(low-rank) 또는 구조적 피드포워드 네트워크 업데이트로 변환합니다. 연구진은 단일, 배치, 순차적 업데이트 상황에서 통합 및 유지 능력을 측정하는 5가지 작업군 테스트베드를 구축했습니다. 4B에서 120B 파라미터를 가진 텍스트 전용 및 멀티모달 모델을 대상으로 실험한 결과, Cortex는 대부분의 환경에서 통합과 유지 사이의 최적 균형(Pareto frontier)을 보였습니다. 특히 14B 모델에서 50번의 순차적 사실 수정 테스트를 수행했을 때, Cortex-Structural은 컨텍스트를 통한 성능 향상분의 88.9%를 회복하면서도 기존의 비대상 성능은 99.8% 유지하는 성과를 거뒀습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.