참고팁X
LLM 해석 가능성 도구 'Jacobian Lens' 공개: 모델 내부 처리 과정을 즉시 시각화
오픈 가중치 모델의 레이어 활성화를 즉시 단어 단위로 디코딩하여 해석할 수 있어, 모델 분석 연구 시 훈련 비용 없이 활용 가능합니다.
요약
Anthropic이 거대언어모델의 내부 사고 과정을 파악할 수 있는 오픈소스 도구인 'Jacobian Lens(j-lens)'를 공개했다. 이 도구는 모델이 텍스트를 출력하기 전, 활성화 상태를 해석하여 어떤 개념을 말하려는지 미리 보여주는 'j-space'라는 내부 방향성 세트를 찾아낸다. 기존의 sparse autoencoders가 비용이 높고 logit lens가 초기 레이어에서 해석력이 떨어지는 단점을 극복하여, 단 한 번의 행렬 곱셈만으로 모든 레이어에서 읽기 쉬운 어휘 토큰을 도출한다. 현재 HuggingFace의 오픈 웨이트 모델(Qwen 등 예시)과 호환되며, 별도의 복잡한 설정 없이 로컬 GPU 환경에서 2분 내에 설치해 바로 사용할 수 있다. 다만 Anthropic의 실제 Claude 모델 가중치는 포함되어 있지 않으며, 오픈 소스인 Apache-2.0 라이선스로 제공된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @charliejhills: Anthropic just open sourced the tool they use to read what claude is thinking before it says anything 🤯 it's called the jacobian
원문 보기 ↗