LLM 에이전트 도구 호출 실패 시 답변 품질 제어 전략

요약

최근 한 개발자는 Slack 봇이 주문번호 조회 도구를 제대로 호출하지 못할 경우, LLM이 실제 상황과 무관한 답변을 지어내는 환각 현상을 겪었습니다. 기존에는 6자리 숫자 패턴만 인식하도록 설계되어 5자리 숫자가 입력될 경우 조회가 누락되었으며, 모델은 이를 자체적으로 판단하여 임의의 오류 메시지를 생성했습니다. 문제를 해결하기 위해 5자리와 6자리 숫자를 모두 허용하고 Slack의 서식 마크업을 제거한 뒤, 봇의 실행 로그를 모델이 직접 참조하게 하여 검색 실패 여부를 명확히 인지하도록 개선했습니다. 또한, 입력값에 대한 테스트 케이스를 추가하여 특정 패턴에서의 조회 누락을 방지했습니다. 그럼에도 개발자는 도구 호출이 실패했을 때 모델이 즉흥적으로 응답하는 것을 근본적으로 차단할 규칙이 부족하다며, 시스템적인 대응 방안에 대한 고민을 공유했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.