참고팁Reddit
로컬 LLM을 분류기로 활용하는 법: n_predict=1과 토큰 확률 이용하기
GGUF 모델의 토큰 확률을 추출해 스팸 분류 등 특정 태스크의 신뢰도를 계산하는 실무 테크닉.
요약
Reddit의 r/LocalLLaMA 커뮤니티에서 llama.cpp를 활용해 모든 LLM을 JEV(Just-Evals-Validation)처럼 분류기로 사용하는 방법이 공유되었다. llama.cpp 실행 시 n_predict=1, n_probs=10 설정을 적용하고 reasoning 기능을 끄면 특정 토큰에 대한 확률값을 산출할 수 있다. 예를 들어 스팸 분류 프롬프트와 함께 해당 설정을 적용하면 모델은 1(스팸)과 0(정상)에 대한 신뢰도 퍼센트를 즉각적으로 반환한다. 구체적으로 llama-server 실행 시 -np 1, --reasoning off 옵션을 사용하여 결과값을 얻는 방식이다. 이 방법은 별도의 복잡한 파이프라인 없이 로컬 환경에서 LLM의 분류 성능을 손쉽게 측정하고 활용하고자 하는 실무자에게 유용하다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 You can use any LLM just like JEV
원문 보기 ↗