참고팁Reddit
LiteLLM, 특정 상황서 reasoning_effort 파라미터 무시 이슈
Agent 벤치마크 테스트 시 특정 모델에서 파라미터가 유실될 수 있음. LiteLLM 사용 시 OpenRouter 등을 통한 파라미터 전달 여부 확인 필요.
요약
최근 한 개발자가 τ-bench에서 에이전트 성능을 테스트하던 중 LiteLLM의 drop_params=True 설정이 reasoning_effort 파라미터를 암묵적으로 삭제하는 문제를 발견했다. OpenRouter를 통해 해당 파라미터를 직접 전송하자 설정이 정상 적용되었으나, 추론 강도를 높여도 실패한 저장 작업을 잡아내는 성능은 크게 개선되지 않았다. 테스트 결과, 'high' 모드에서 실패를 잡아낸 건수는 59건 중 11건으로, 'low' 모드의 10건과 통계적으로 유의미한 차이가 없었다. 다만 추론 시간은 모델별로 큰 차이를 보였는데, Claude Sonnet 5.5는 약 2배, GPT-6.1 Sol은 약 43배 증가했으나 DeepSeek V4.1 Flash는 변화가 없었다. 결론적으로 추론 강도 향상이 에이전트의 재확인 판단력 개선보다는 단순 연산량 증가에 영향을 미치는 것으로 나타났다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LiteLLM silently drops reasoning_effort for some models (found while testing agents on τ-bench)
원문 보기 ↗