단순 재시도(Retry)는 위험하다: LLM 호출 에러를 3가지 유형으로 분리해야 하는 이유

요약

LLM API 호출 시 단순히 'retry(3)'를 사용하는 오류 처리 방식은 세 가지 다른 유형의 실패를 구분하지 못해 비효율적이다. 첫 번째는 타임아웃, 429 에러(Rate Limit), 5xx 서버 오류 등 전송 및 제공자 측의 문제로, 이때는 지수 백오프(exponential backoff)와 지터(jitter)를 활용한 재시도가 적절하다. 두 번째는 모델의 출력 결과가 구조적으로 잘못된 경우로, 동일한 프롬프트를 재시도하기보다 유효성 검사 오류 메시지를 포함해 다시 요청하는 방식이 효과적이다. 세 번째는 모델이 'I cannot answer'와 같이 불가능을 선언하는 논리적 실패이며, 이는 재시도로 해결되지 않으므로 프롬프트 수정이나 데이터 보완이 필요하다. 따라서 개발자는 단순히 반복 호출하는 대신 오류 유형별로 적합한 처리 전략을 설계해야 한다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.