에이전트 성능 평가용 테스트 하네스: 실험당 최소 120회 에피소드 권장

요약

Reef Infra는 쌍으로 이루어진 하네스(harness) 비교 평가를 위해 '2 × 태스크 수 × 에피소드 반복 횟수'의 방식을 사용한다고 밝혔다. 20개의 태스크를 3회 반복할 경우, 에디트 제안 호출을 제외하고도 총 120회의 에이전트 에피소드가 실행된다. 하나의 에피소드 내에는 다수의 모델 및 툴 호출이 포함될 수 있어 실제 비용은 더 높을 수 있다. 이 방식은 현재 하네스와 후보 하네스를 동일한 모델과 테스트 스위트로 검증하며, 반복 실행을 통해 태스크별로 여러 번의 시도를 관찰한다. 실험에서 회귀 태스크가 누적될수록 테스트 스위트 규모가 커져 실행 비용이 기하급수적으로 증가하므로 실무자의 주의가 필요하다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.