GPT-2 토큰 임베딩 공간 인터랙티브 맵 공개

요약

GPT-2-small 모델의 WTE(Word Token Embedding)를 시각화한 대화형 지도가 공개되어 주목받고 있다. 이번 지도는 GPT-2-small의 알파벳 토큰 32,070개를 t-SNE 알고리즘을 사용하여 2차원 공간에 배치한 결과물이다. 사용자는 특정 토큰을 탭하여 가장 가까운 연관 토큰을 확인할 수 있으며, 연결된 이웃 토큰을 따라 이동하며 임베딩 관계를 탐색할 수 있다. 그래프 내 모든 선은 해당 공간에서의 실제 최단 거리 관계인 최소 신장 트리(Minimum Spanning Tree)를 기반으로 한다. 모바일 환경을 지원하며 검색 기능을 통해 원하는 토큰 위치로 즉시 이동할 수 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.