참고팁Reddit
Jev 모델 아키텍처 및 상세 명세: 구조화된 데이터 처리에 최적화
구조화된 출력(Choice, Score, Noul)과 초저지연 처리로 에이전트 워크플로우에 적합한 특수 목적 모델임을 확인 가능.
요약
TypeSafe가 9월 15일 공개한 'Jev'는 챗봇 형태가 아닌 상태(텍스트 또는 JSON)와 질문을 입력받아 정형화된 답변을 반환하는 시스템이다. 모델은 선택, 점수, 참/거짓 확률 등 세 가지 답변 유형을 제공하며 모든 질문을 병렬로 처리하여 70~500ms 내에 결과를 도출한다. 비용은 입력 토큰 100만 개당 0.042달러이며 출력 토큰은 무료로 제공된다. 주요 사양으로 초당 250k 토큰, 분당 1,200회 요청 처리량을 지원하며 요청당 최대 토큰 제한은 64k이다. 특히 답변에 대한 신뢰도(confidence) 점수를 제공하여 분류나 판별 작업에서 정확도를 검증할 수 있는 점이 특징이다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 What is Jev? TypeSafe's "System One" model explained in one infographic, caveats included
원문 보기 ↗