LLM 내부 동작을 시각화하는 오픈소스 도구 'inside-llm' 공개
두 모델의 양자화 버전을 토큰 단위로 실시간 비교하고 생성 과정을 시각적으로 확인 가능한 디버깅 툴.
요약
최근 레딧(Reddit)의 r/LocalLLaMA 커뮤니티에서 동일한 LLM의 서로 다른 양자화 모델 간 차이를 시각적으로 비교할 수 있는 오픈소스 도구 'inside-llm'이 주목받고 있다. 이 도구는 llama.cpp를 사용하여 GGUF 모델을 로드하며, 텍스트 생성 과정에서 모델이 어떤 판단을 내리는지 브라우저상에서 실시간으로 보여준다. 주요 기능인 'Stream' 모드는 두 모델의 토큰 확률을 명도(brightness)로 표시하고, 선택이 갈라지는 지점을 마젠타색으로 강조하여 직관적인 비교를 지원한다. 또한 록스텝(lockstep) 모드를 통해 두 모델이 동일한 텍스트를 읽을 때 발생하는 미세한 차이를 토큰 단위로 추적할 수 있다. 'Candidates' 기능을 활용하면 각 토큰 선택의 전체 분포, 엔트로피, Jensen-Shannon 다이버전스 등 상세한 통계 데이터를 확인할 수 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I have created a tool to observe what happens inside an LLM. Also allows for the comparison of two quantizations of the same model to see at what point they diverge, token by token
원문 보기 ↗