LLM 프롬프트 정확도 향상: 선택지 분류 시 '설명' 추가하기

요약

최근 챗봇 모델과 Jev 모델을 이용한 부정 결제 신고 분류 실험에서, 단순 팀 이름만 옵션으로 제공했을 때는 모델들이 잘못된 팀으로 보고서를 전달하는 오류가 발생했다. 이를 해결하기 위해 각 옵션별로 담당 업무를 설명하는 한 줄의 문구를 추가하자, 두 모델 모두 정확하게 '보안팀'으로 분류를 변경했다. 3,000건의 'banking77' 메시지를 대상으로 실험한 결과, Jev 모델이 확실하게 판단한 경우 100건 중 98건의 높은 정확도를 보였다. 이번 사례는 챗봇의 의도 분류 성능을 높이기 위해 프롬프트 내에 구체적인 맥락 정보를 제공하는 것이 핵심임을 시사한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.