LLM 평가 신뢰도 향상 위한 'JudgeCalibrationKit' 공개

요약

LLM 평가 과정에서 모델의 판단을 인간의 주석과 비교하여 신뢰성을 검증할 수 있는 Swift 패키지 'JudgeCalibrationKit'이 공개되었다. Apache-2.0 라이선스로 배포된 이 도구는 Cohen’s κ, weighted κ, Krippendorff’s α 등 다양한 통계 지표를 통해 판단의 일치도를 측정한다. 특히 전체 데이터의 평균 일치도만으로는 파악하기 어려운 특정 구간의 성능 저하 문제를 해결하기 위해 '메타데이터 슬라이스(metadata slice)' 기능을 제공한다. 사용자는 로캘 등 특정 슬라이스를 설정하고, 해당 슬라이스 그룹 내에서 최악의 성능을 보이는 구간을 선별적으로 게이트(gate)할 수 있다. 결정론적 클러스터링 부트스트랩 신뢰 구간(CI)을 활용해 평가 데이터의 통계적 유의성을 정밀하게 검증할 수 있는 것이 특징이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.