← promppy_ 실시간 AI 뉴스
참고Reddit

LLM의 문맥 업데이트 실패 원인 '어텐션 드리프트(Attention Drift)' 분석

모델이 최신 정보 대신 이전 정보를 우선시하는 현상. RAG 구현 시 모델의 지식 업데이트 한계에 대한 통찰.

요약

9월 30일 발표된 UC 버클리의 논문 'When Context Changes: Understanding Update Failures in LLMs'는 LLM이 문맥 내 최신 정보가 업데이트되어도 과거 정보를 기반으로 답변하는 'stale binding' 현상을 분석했다. 연구팀은 모델이 최신 정보를 알고 있음에도 답변 생성 시 구버전을 선택하는 오류를 발견했으며, 이는 정보 소실이 아닌 선택 실패의 문제라고 진단했다. Qwen과 Pythia 모델을 대상으로 한 컴포넌트 테스트 결과, 답변 생성 시 모델의 어텐션이 최신 값보다 이전 값에 더 치중되는 'attention drift' 현상이 주요 원인으로 지목되었다. 이번 연구는 모델이 내부적으로는 정답을 파악하고 있더라도 출력 과정에서 과거의 기억에 고착될 수 있음을 시사한다. 현재 frontier 모델들에 대한 해당 현상의 영향은 행동 기반 테스트로만 파악되고 있으며, 추가적인 검증이 필요한 상황이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.

원문 제목 Paper: even when the updated value is in context, models sometimes answer with the old one. Component tests on Qwen and Pythia point to attention drift. Anyone seen this in long local runs?

원문 보기 ↗

광고

promppy는 한국 AI 실무자를 위한 실시간 AI 뉴스 터미널입니다.

15분마다 속보·중요·팁 자동 수집 · 한국어 요약 제공

실시간 피드 보기 →RSS 구독

관련 뉴스