[Paper] EngramEdit: LLM의 지식 업데이트를 위한 조건부 메모리 아키텍처

요약

EngramEdit은 DeepSeek Engram과 같은 조건부 메모리(Conditional Memory) 아키텍처를 활용하여 LLM의 사실적 지식 업데이트를 가능하게 하는 새로운 방법론이다. 기존 조건부 메모리 모델은 입력 n-gram을 통해 학습된 임베딩을 참조하여 계산 비용을 최소화하면서 모델 용량을 확장해왔다. EngramEdit은 Transformer 백본을 고정한 상태에서 사실적 지식 저장소만 분리하여 업데이트할 수 있도록 설계되었다. 이는 서로 다른 사실 표현이 동일한 n-gram 임베딩을 활성화하여 발생하는 간섭 문제를 해결하기 위해 제안되었다. 이 기법은 타겟 메모리 표현을 계산하는 방식으로 지식 수정 시 다른 예측 결과에 미치는 영향을 최소화하며 효율적인 지식 갱신을 지원한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.