참고Reddit
llama.cpp용 Jacobian-Lens 시각화·실시간 스티어링 툴 공개…GGUF 모델 지원
GGUF 모델 관찰·j-space 조작·어블리터레이션 가능. 로컬 LLM 해석·제어 실험자에게 유용.
요약
기존 PyTorch 및 HF용 위주였던 야코비안 렌즈(Jacobian-Lens) 프로젝트와 달리, GGUF 및 llama.cpp 모델을 지원하는 인터랙티브 시각화 및 실시간 조종(live steering) 도구가 개발되었습니다. 이 도구는 Anthropic의 논문과 llama.cpp, GGML 등에서 영감을 받았으며 Dense 및 MoE GGUF 모델 모두에서 작동합니다. llama.cpp 기반의 네이티브 GGUF 서버를 제공하여 모델 관찰은 물론 j-space 스와핑, 삭제(abliteraion), 조종 기능을 수행할 수 있으며, 실행 중인 llama-server 모델 관찰도 지원합니다. 렌즈 사용을 위한 메모리 요구량은 모델 크기의 약 1/8 수준으로, 일례로 160GB 크기의 Qwen3.5-397B UD-Q3_K_XL 모델 구동 시 약 20GB의 추가 RAM이 필요합니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Interactive Jacobian-Lens visualizer and live steerer for GGUF models on llama.cpp
원문 보기 ↗