참고팁Reddit
'Terminal-Bench 2.0' 기반 Bonsai-27B 및 Qwen 모델 로컬 성능 테스트
VRAM 8GB 환경에서 로컬 LLM 구동 시 벤치마크 수치와 툴 호출 정확도를 직접 확인할 수 있음.
요약
최근 Reddit의 r/LocalLLaMA 커뮤니티에서 Bonsai 모델(Ternary-Bonsai-27B 2-bit 및 Bonsai-27B 1-bit)의 Terminal-Bench 2.0 성능 테스트 결과가 공유되었습니다. RTX 5070 Laptop 8GB VRAM 환경에서 PrismML의 llama.cpp 포크를 사용하여 테스트한 결과, Ternary-Bonsai-27B(2-bit)는 7.9%의 점수를 기록했습니다. 비교 대상으로 삼은 Qwen3.5-9B는 9.2%, Qwen3.6-35B-A3B는 24.3%의 성능을 보였으며, Bonsai-27B(1-bit) 모델은 측정값을 생성하지 못했습니다. 다만, 테스트 대상인 Bonsai 모델들은 8GB VRAM 환경에서도 전체 모델이 GPU에 정상적으로 로드되었으며, 전체 테스트 과정에서 파싱 오류 없이 깔끔한 툴 콜링 성능을 보여주었습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I ran Ternary-Bonsai-27B (2-bit) and Bonsai-27B (1-bit) on Terminal-Bench 2.0, in 8GB VRAM
원문 보기 ↗