GPT-2 임베딩 공간을 쌍곡선 기하학으로 시각화한 프로젝트

요약

GPT-2 small 모델의 어휘 32,070개를 쌍곡선 공간(Poincaré ball) 내 트리 구조로 시각화한 프로젝트가 공개되었다. 기존의 평면적인 2D 투영 방식에서 벗어나, 트리 구조 데이터 표현에 최적화된 쌍곡선 기하학을 활용했다. 사용자는 모바일 기기에서도 웹 브라우저를 통해 드래그, 줌, 탭 기능으로 해당 공간을 자유롭게 탐색할 수 있다. 특히 뫼비우스 변환(Möbius translation)을 적용하여 토큰 간 관계를 직관적으로 이동하며 확인할 수 있도록 설계되었다. 이는 GPT-2 어휘들의 유사도 구조가 거대한 하나의 트리와 여러 소규모 트리로 구성된 숲 형태임을 효과적으로 보여준다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.