참고X
LangSmith, 'Tuned Evaluators' 출시... 에이전트 성능 검증 자동화
프로덕션 환경에서 에이전트 동작을 모니터링하고 튜닝하는 과정의 비용을 절감할 수 있는 도구입니다.
요약
LangSmith가 프로덕션 트레이스에서 에이전트의 오작동을 탐지하고 피드백을 제공하는 'LangSmith Tuned Evaluators'를 출시했다. 이번에 처음 선보인 기능은 'Perceived Error' 평가기로, 에이전트 개선 프로세스에 즉시 활용할 수 있는 데이터를 제공한다. 자체 벤치마크 결과에 따르면, 이 튜닝된 모델은 기존 최상위 모델들과 비교해 82% 낮은 비용으로 더 우수한 성능을 입증했다. 이번 업데이트는 기업이 에이전트의 비정상적인 동작을 효과적으로 추적하고 최적화하는 과정을 지원하는 데 중점을 둔다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @hwchase17: 🚀Today we launched LangSmith Tuned Evaluators, starting with Perceived Error. Tuned Evaluators run on production traces to catch
원문 보기 ↗