참고팁Reddit
로컬 Qwen 모델로 Jev 방식 의사결정 구현: 응답 속도 35% 개선
로컬환경(llama.cpp)에서 Jev와 동일한 정확도로 의사결정을 수행하는 TS 패키지 공개. 데이터 프라이버시가 중요한 경우 활용 고려.
요약
데이터 프라이버시 문제로 외부 서버를 거치지 않고 로컬에서 의사결정을 수행할 수 있는 'choosekit'이 공개되었습니다. 이 패키지는 llama.cpp에서 구동되는 모델로부터 선택지와 확률값을 추출하는 TypeScript 기반의 도구입니다. Qwen2.5 7B Q4 XL 모델을 활용해 SemIf 144개 작업 벤치마크를 테스트한 결과, 기존 Jev 서비스와 동일한 96.53%의 정확도를 기록했습니다. 중앙값 기준 응답 속도는 로컬 Qwen 환경에서 239ms로, Jev의 호스팅 API인 368ms보다 129ms 더 빨랐습니다. 관련 상세 설정과 테스트 결과는 GitHub 저장소를 통해 확인할 수 있습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 I tried Jev-style decisions with local Qwen: same accuracy, 239 ms vs 368 ms
원문 보기 ↗