참고팁Reddit
로컬 LLM을 Jev 스타일 의사결정 엔진으로 만드는 'notjev' 라이브러리
Logprobs를 활용해 텍스트 생성 없이 시스템 1 의사결정(분류, 판단)을 최적화하는 경량 도구.
요약
notjev는 OpenAI 호환 모델을 빠른 System 1 의사결정 엔진으로 변환해주는 Node.js 라이브러리다. 텍스트를 생성하는 대신 모델에 단일 토큰(A, B, C 등)을 요청하고 logprobs를 활용해 선택에 대한 결과, 확률, 마진 및 기권 임계값을 산출한다. vLLM, llama.cpp, Ollama 등 로컬 LLM 환경에서도 사용 가능하며, Jev의 /v1/systemone 와이어 계약을 지원한다. 별도의 런타임 종속성이 없고 기존 채팅 모델과 동일한 가중치를 사용하여 System 1과 System 2를 분리할 수 있다. Qwen3-8B 모델 기준 p50 23ms의 빠른 처리 속도를 제공한다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 notjev – Turn any local LLM into a Jev-style decision engine (one token + logprobs)
원문 보기 ↗