토큰 생성 없는 의사결정 API 'riderless' 공개

요약

최근 LLM 커뮤니티에서 Gemma 4 26B-A4B 모델 기반의 의사결정 API인 'riderless'가 공개되었습니다. 이 프로젝트는 별도의 전용 모델 학습 없이 기존의 Instruction-tuned SWA 모델을 활용해 토큰 생성 과정 없이 로짓(logits) 값을 직접 읽어내는 방식을 취합니다. FastAPI 서비스로 구현된 riderless는 질문을 단일 문자 답변 프롬프트로 변환한 뒤, 마지막 위치의 A-Z 라벨 로짓에 소프트맥스(softmax)를 적용하여 결과를 도출합니다. 이 과정에서 토큰을 전혀 생성하지 않고 전체 분포를 확률값으로 제공하므로, 기존 파싱 방식보다 정확한 데이터 확보가 가능합니다. 개발자는 이 방식을 통해 토큰 생성 비용을 절감하고, 일반적인 Choice, Score API 구조와 호환되는 의사결정 시스템을 구축할 수 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.