참고팁Reddit
오픈소스 LLM용 의사결정 프레임워크 'brier' 공개
Jev와 유사한 결정 모델 기능을 로컬 LLM에서 구현 가능. 토큰 확률을 보정해 정형화된 의사결정을 수행할 수 있어 도구 개발 시 유용.
요약
Jev 모델의 의사결정 방식은 효율적이지만 유료 API 기반의 폐쇄형 서비스라는 한계가 있어, 이를 오픈 소스 모델로 구현한 'brier' 라이브러리가 등장했다. 기존 오픈 LLM은 선택지 순서에 따라 답변 확률이 크게 변하고(Falcon3-1B-Base 모델의 경우 99% 변화), 확률 보정이 제대로 되지 않는 문제가 있다. brier는 별도의 파인튜닝이나 텍스트 생성 없이, 허깅페이스에 있는 오픈 모델의 다음 토큰 로그 확률(log-probabilities)을 직접 읽어와 답변 분포를 보정한다. 이 방식은 모델의 답변 확률을 효과적으로 교정하여 신뢰할 수 있는 의사결정을 가능하게 한다. 현재 brier는 1B 베이스 모델을 포함한 6개 모델군에서 테스트를 완료했다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 brier: Jev-style typed decisions with calibrated probabilities, for open models you run yourself (tested on 6 families, incl. a 1B base model)
원문 보기 ↗