제로샷 분류기 'Laya', 실제 데이터에서 키워드 규칙보다 낮은 성능

요약

최근 한 개발자가 로컬 구동 가능한 오픈소스 제로샷 분류기인 'Laya(convaiinnovations/laya)'의 성능 검증 결과를 공개했다. 우선 해당 모델의 MASSIVE(en) 벤치마크 점수인 78.33%를 정확히 재현하며 설치나 환경 문제 없이 정상 작동함을 확인했다. 그러나 실제 자체 데이터셋(학술 논문 5,489개 문단, 5개 클래스)으로 테스트한 결과, Laya의 정확도는 25.6%에 그쳐 베이스라인인 TF-IDF+로지스틱 회귀(70.5%)나 단순 키워드 규칙(35.5%)보다 낮은 성능을 보였다. 이번 실험은 범용 제로샷 모델이 특정 도메인 데이터에서 반드시 기대 성능을 내는 것은 아님을 시사한다. 작성자는 재현성은 확보했으나 실제 비즈니스 로직 적용 시에는 기존 알고리즘보다 못한 결과를 얻은 원인에 대해 의문을 제기했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.