참고X
LLM 내부 'bouba-kiki 공간' 발견: 모델의 표현력 분석 사례
Llama/Gemma 활성화 값 내 언어의 음성적 특징과 의미가 별도 방향으로 표현됨을 확인한 해석 연구.
요약
AI 연구 기업 GoodfireAI는 거대언어모델(LLM) 내부에 '부바-키키 공간(bouba-kiki space)'이 존재한다는 연구 결과를 발표했다. Llama와 Gemma 모델의 활성화 데이터에서 '뾰족한 소리(spiky-sounding)'와 '둥근 소리(round-sounding)'의 단어들이 특정 방향의 양 끝에 정렬되는 현상이 발견됐다. 이는 단어의 의미와 관계없이 소리의 음성적 특성이 모델 내부 구조에 반영되어 있음을 보여준다. 이러한 현상은 인간이 특정 모양과 소리를 연결 짓는 심리학적 '부바-키키 효과(bouba-kiki effect)'와 유사하다. 이번 발견은 LLM이 언어의 의미적 정보뿐만 아니라 감각적, 물리적 특성까지 내재화하고 있음을 시사한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @GoodfireAI: There's a "bouba-kiki space" inside LLMs "Spiky-sounding" and "round-sounding" words align on opposite ends of a specific directio
원문 보기 ↗