금융 데이터 분류를 위한 결정 모델(Decision Models) 벤치마크 실험

요약

한 개발자가 Jev, D1, Solar Decide, Kev 4b, Span 01 등 5개 의사결정 모델을 대상으로 1,000건의 실제 거래 데이터를 활용한 분류 성능 테스트를 진행했다. 테스트 결과, 모호한 식당 이름이 포함된 경우 모델들은 신뢰도가 낮아져 분류를 포기하는 경향을 보였다. 특히 Span-01은 답변 거부(abstain)가 불가능하고 예/아니오 질문만 처리할 수 있어 상대적으로 낮은 점수를 기록했다. 반면, Jev 모델은 답변을 강제했을 때 오히려 기존의 자율 답변 방식이나 Span-01보다 더 우수한 성능을 나타냈다. 전체 카테고리 중에서는 은행 이체 항목 분류에서 모델들의 전반적인 성능이 가장 낮았으며, Span-01은 자선 기부금 거래를 전혀 분류하지 못했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.