참고Reddit
선형 어텐션(Linear Attention)의 장거리 문맥 회상 한계 극복을 위한 기술적 논의
DNA 서열 모델링 등 초장문 문맥 처리를 위한 선형 어텐션 아키텍처의 기술적 난제와 해결 방안을 심도 있게 토론함.
요약
DNA 서열 모델링 연구 중 선형 어텐션(Linear Attention) 모델을 도입했으나, 긴 문맥의 정보를 기억하는 '롱 레인지 리콜(Long-range recall)' 성능에서 한계를 경험했다. DNA 서열은 100만 토큰에 달하는 경우가 많아 기존의 소프트맥스 어텐션 대신 선형 어텐션을 택했으나, 니들 인 어 헤이스택(Needle in a Haystack) 벤치마크 결과 25% 이하의 저조한 성능을 기록했다. 이는 4개 토큰(A/C/G/T) 기준 무작위 추측과 다를 바 없는 수준이다. 기존 연구들을 조사한 결과 대부분 외부 메모리, 슬라이딩 윈도우, 하이브리드 방식 등에 의존하고 있어 문제 해결을 위한 새로운 접근이 필요한 상황이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 How can we solve long-range recall in linear attention? [D]
원문 보기 ↗