LLM 에이전트 평가 시 세션 수준의 일관성 확인 필요

요약

최근 1200건의 고객 지원 평가 분석 결과, 단일 트레이스 평가는 멀티 트레이스 간의 모순을 감지하지 못하는 한계가 드러났다. 총 240건의 멀티 트레이스 케이스 중 38건에서 개별 트레이스는 정책 평가를 통과했지만, 연결된 트레이스 간에 환불 금액 약속이 충돌하는 사례가 발견되었다. 기존의 궤적 평가 방식은 각 실행을 독립적으로 판단하여 이전 맥락의 약속을 무시하기 때문에 발생하는 문제이다. 이를 해결하기 위해 Braintrust 환경에서 케이스 ID별로 최대 64개의 트레이스를 통합하여 일관성을 평가하는 세션 단위 스코어링을 테스트 중이다. 회귀 데이터셋을 통해 이러한 모순을 보존하고 전체적인 문맥 내에서 일관성 있는 평가를 진행하려는 시도이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.