LLM 회귀 테스트 도구의 설계상 허점과 샘플링 전략

요약

오픈소스 LLM 회귀 테스트 도구인 digline의 개발자가 설계상의 오류를 공개하며 자가 비판적인 분석을 제시했다. 이 도구는 새로운 실행 결과를 승인된 참조값과 비교하여 회귀 여부를 판단하는데, 이때 기준이 되는 변동폭(noise band)을 측정하기 위해 참조값을 K번 샘플링하여 최솟값과 최댓값을 기록한다. 그러나 개발자는 K값이 커질수록 극단값을 기록하게 되어 샘플링 횟수가 증가할수록 밴드 폭이 비정상적으로 넓어지는 문제가 있음을 발견했다. 실제 테스트 결과, K값 2일 때 0.117이었던 밴드 폭은 K값 5일 때 0.300, K값 31일 때 0.483으로 급격히 증가했다. 725개의 비교 테스트 세트에서 해당 오류가 결과에 미친 영향은 없었으나, 개발자는 평균값이 아닌 최솟값과 최댓값을 요약 지표로 사용한 것이 근본적인 설계 오류였다고 지적했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.