참고팁X
오픈소스 라이브러리 'AnyJev': 오픈 LLM에서 구조화된 데이터 추출 지원
오픈 LLM을 Jev 스타일의 판단 모델로 전환하는 라이브러리. 로컬 모델 활용 시 의사결정 로직 구현에 유용함.
요약
AnyJev는 오픈 LLM을 Jev 스타일의 모델로 변환하여 유형별 선택지, 예/아니요 판단, 점수 및 확률을 추출할 수 있게 해주는 오픈소스 파이썬 라이브러리다. 이 라이브러리는 레이블이 필요 없는 L0 단계, 100~500개의 레이블로 확률을 보정하는 L1 단계, 100~300개의 레이블로 중간 은닉 상태를 학습하는 L2 단계 등 세 가지 수준의 기능을 제공한다. L2 단계는 모델 가중치를 변경하지 않으면서도 추론을 조기에 종료할 수 있어 효율적이다. AnyJev는 모델의 로짓(logits)이나 은닉 상태에 접근해야 하므로 오픈 모델 기반의 환경에서만 사용 가능하다. L2 헤드는 특정 모델과 질문에 맞게 설계되어야 하며, 다양한 오픈 인과 언어 모델(causal LLM)과 호환된다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @_avichawla: Turn any open LLM into a Jev-style model: Researchers just open-sourced AnyJev, a Python library that extracts typed choices, yes/
원문 보기 ↗