Claude(클로드) 최신 모델들의 'Lost in the Middle' 현상 검증 실험

요약

최근 LLM 연구에서 자주 언급되는 'Lost in the Middle' 현상(문맥 중간에 있는 정보를 놓치는 현상)을 최신 모델인 Claude 3.5 Haiku와 Claude 3.5 Sonnet을 대상으로 직접 검증한 결과, 유의미한 성능 저하가 발견되지 않았습니다. 실험은 모델이 알 수 없는 가상의 사실을 포함한 문서를 5개, 15개, 30개의 참조 문서 더미 내 다양한 위치(앞, 중간, 끝)에 배치하여 응답의 일관성을 확인하는 방식으로 진행되었습니다. 5개와 15개의 문서를 사용했을 때는 위치에 따른 응답 변화가 전혀 없었으며, 30개 문서 조건에서도 응답 오류는 약 4%에 불과했습니다. 발생한 오류 또한 '3'과 'three'와 같은 단순 표기 차이였으며, 모델이 정보를 제대로 처리하지 못하는 'Lost in the Middle' 현상은 나타나지 않았습니다. 이번 실험은 최신 모델들이 긴 문맥 처리 능력에서 기존 연구보다 향상된 성능을 보이고 있음을 시사합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.