48M 파라미터 모델을 활용한 효율적인 도구 호출(Tool Calling) 최적화 기법

요약

한 개발자가 48M 파라미터 규모의 소형 모델을 사용하여 툴 호출(Tool Calling) 기능을 최적화하는 새로운 접근 방식을 공유했다. 기존 방식처럼 범용 모델에 문법 제약을 덧씌우는 대신, 툴 호출에 필요한 5가지 핵심 결정 요소(호출 여부, 도구 선택, 옵션 포함 여부, 값 지정, 종료 여부)를 중심으로 토크나이저와 학습 손실 함수, 디코더를 설계했다. 이 모델은 일반 대화나 텍스트 생성 기능을 배제하고 오직 함수 스키마와 요청을 해석해 호출 결과만을 출력하도록 학습되었다. 그 결과, 별도의 설정 없이도 항상 파싱 가능한 JSON 형식을 보장하며, 정의되지 않은 도구 호출이나 스키마 외의 인자 생성을 원천 차단한다. 모델은 오직 지정된 5가지 결정 지점에서만 추론에 관여하여 효율성을 극대화했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.