LLM 라우터의 '수락 테스트' 실패를 공급자 오류로 오인하지 않기

요약

OmniNode의 모델 라우터가 다섯 번의 답변 거부 사례를 제공자 오류(provider error)로 잘못 분류하는 문제가 발생했다. 실제로는 제공자가 신속하게 답변했음에도 불구하고, 수락 확인 과정에서 답변이 거부된 것을 시스템이 오류로 오인한 것이다. 라우터는 비용 최적화를 위해 저렴한 모델부터 순차적으로 시도하며, 검증 통과 여부에 따라 상위 모델로 전환하는 구조를 가지고 있다. 만약 검증 로직이 잘못 작동하면, 해결책에 도달하지 못하면서 불필요한 비용만 증가하는 부작용이 발생한다. 실제로 지난 9월 28일에는 정확한 단답형 답변이 '노력이 부족하다'는 이유로 거부된 사례도 있었다. 이러한 검증 오류는 시스템이 근본적인 문제를 잘못 파악하여 잘못된 방향으로 조사하게 만드는 원인이 된다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.