Qwen3.8-Flash-Next의 Engram 테이블 구조 분석 및 데이터 삽입 실험

요약

Qwen3.8-Flash-Next 모델은 트랜스포머 구조 외부에 3억 2천만 개의 행으로 구성된 거대한 n-gram 조회 테이블을 탑재하고 있다. 이 테이블은 모델이 텍스트를 처리할 때 마지막 2~3개 토큰을 해싱하여 해당 행의 값을 잔차 스트림(residual stream)에 추가하는 방식으로 작동한다. 한 개발자가 모델의 가중치를 수정하지 않고 이 테이블에 직접 100개의 사실 정보를 작성하는 실험을 3주간 진행했다. 그 결과, 이 방식이 실제로 모델의 지식 주입에 작동함을 확인했으나 아직 완벽한 수준은 아니다. 이번 실험은 모델의 연산 과정 이전에 토큰 n-gram 기반의 키-값 메모리를 참조하는 구조적 특성을 활용한 사례로 주목받고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.