LLM 에이전트의 'False Done' 문제: 결정론적 검증 워크플로우 제안

요약

LLM 에이전트가 작업 실패 시에도 성공으로 판단하는 '거짓 성공(False Done)' 현상을 검증하기 위해 nuhuh 도구를 활용한 벤치마크 결과가 공개되었습니다. 기존 LLM 판단 방식은 성공률을 과대평가하는 경향이 있어, 본 실험에서는 LLM 호출 없이 실제 파일 생성과 로컬호스트 검증 등을 통해 결과를 확증했습니다. 총 54회의 작업 반복 결과, Codex의 거짓 성공률은 4.1%, Claude(Haiku)는 6.1%, 최상위 모델인 Claude는 0.0%를 기록했습니다. 연구자는 단일 실행만으로는 LLM의 오류를 정확히 파악할 수 없으며, 반드시 다회 반복 검증이 필요하다고 강조합니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.