LLM 내부 활성화(Activation) 드리프트 측정 방법 및 코드 공개

요약

최근 한 연구자는 LLM의 답변이 동일한 질문에도 매번 다르게 나타나는 현상이 무작위적인 것이 아니라 이전 문맥(context)에 의한 영향임을 입증했다. 연구 결과에 따르면, 악의 없는 긴 문맥이라 할지라도 모델의 내부 활성화 상태에 지속적인 '드리프트(drift)'를 유발할 수 있다. 이러한 내부 상태의 변화는 모델의 동의 여부와 관계없이 세션 전반에 걸쳐 지속된다. 결과적으로 이 현상은 모델이 학습 과정에서 거친 RLHF(인간 피드백 기반 강화학습) 정렬을 약화시키고 행동을 분리시키는 결과를 초래할 수 있다. 작성자는 이러한 문맥이 모델의 표현에 미치는 영향을 측정하는 방법과 관련 코드를 공개했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.